Даже если ваша работа не связана с поиском и верификацией информации, вы наверняка обратили внимание на то, что результаты поиска в крупных поисковых системах становятся всё менее удовлетворительными. К сожалению, это действительно так. Рассказываем, как можно повысить качество и скорость поиска в Google.
Что происходит
Google, «Яндекс», Bing — за последние пять лет все эти поисковики стали справляться с задачами хуже. Для этого есть как внутренние причины — алгоритмизация и коммерческий интерес техногигантов, так и внешние — законодательные (в частности, это связано с законами о защите персональных данных). Инструменты, которыми журналисты и исследователи пользовались годами, перестают работать, а нейросети искажают результаты поиска, основываясь на поведении пользователя. Отдельно стоит отметить Google — полезные для поиска решения, которые были закрыты компанией, исчисляются десятками.
Не говоря уже о том, что с 2024 года вы получаете лишь 300 результатов в поиске даже по тем запросам, по которым в интернете есть тысячи и десятки тысяч страниц. При этом алгоритм с некоторой ненулевой вероятностью выдаст вам три разных результата на один и тот же запрос, сделанный из Казахстана, Черногории или Германии или с разных устройств (например, со смартфона или планшета). И хорошо, если информация по ссылкам на первой странице выдачи не будет противоречить друг другу. Так, в ответ на запрос «какая книга самая воруемая в мире» кто-то получит на втором или даже первом месте ссылку на статью «Проверено», тогда как человек с другим устройством или в другом регионе увидит красиво оформленный блок с ложным утверждением о том, что это Библия, а ссылки на разбор «Проверено» на первой странице не будет вовсе.
Что делать
Одно из решений актуальной проблемы, как ни удивительно, было создано ещё в 2008 году — это программируемый поиск Google. Так называемые Custom Search Engines (CSE) — это ваши собственные поисковые машины, настроенные под конкретные глобальные или локальные задачи. Например, вам с некоторой регулярностью нужно сверять официальные статистические данные нескольких стран. Вместо того чтобы искать на каждом сайте по отдельности, можно настроить поисковую машину, которая будет обращаться только к этим сайтам и сортировать полученные результаты по странам, релевантности и дате.
Другой пример: поиск по социальным сетям и порталам, на которых зарегистрировано большое количество русскоязычных пользователей. Определим список ресурсов, добавим их в соответствии с правилами в новую поисковую машину и на выходе получим удовлетворяющий запрос движок.
Интегрированные в веб-страницу CSE для поиска по Telegram есть на сайте Intelligence-X, а сервис поиска по Yellow Pages и White Pages разных стран Phone Book of the World полностью построен на программируемых машинах от Google.
На GitHub есть обновляемый автором этого руководства список протестированных вручную CSE на многие случаи жизни: от поиска по социальным медиа Ирана до открытых файлов и папок на Google Drive. Например, в списке есть настроенный «Проверено» CSE для поиска фактчеков на русском языке. Если вы сомневаетесь в достоверности какой-либо информации, возможно, она уже попала в поле зрения фактчекеров. Попробуйте поискать по ключевым словам или фразе в этой машине.
Даже самый простой CSE без региональных и языковых настроек позволит обойти ограничение в 300 результатов на запрос. А настройка собственной поисковой системы займёт у опытного пользователя, понимающего, что именно и где он хочет найти, не более 20 минут. По ссылке — короткая видеоинструкция.
Изображение на обложке: Alexandra_Koch from Pixabay
