В 2024 году Google изменил дизайн своей поисковой выдачи: в самом верху страницы, перед ссылками, стали появляться сгенерированные ИИ ответы на запросы пользователей. Одних новый продукт, который получил название «Обзор от ИИ» (в оригинале AI Overview), радует, других раздражает. Но насколько можно доверять этим обзорам? По заказу The New York Times точность этих ИИ-ответов изучил стартап Oumi. «Проверено» пересказывает главное из их исследования.
Тестирование проводилось дважды: в октябре 2025 года (с использованием технологии Gemini 2) и в феврале 2026-го (когда вышла обновлённая версия модели — Gemini 3). В обоих случаях эксперты проанализировали ИИ-обзоры по 4326 поисковым запросам. Выяснилось, что точность ответов составила 85% для Gemini 2 и 91% для Gemini 3.
На первый взгляд может показаться, что это вполне достойные результаты. Однако, отмечает NYT, Google ежегодно обрабатывает более 5 трлн поисковых запросов, то есть обзоры по сотням миллионов из них содержат недостоверную или по крайней мере неточную информацию.
Вот один из примеров исследования. На запрос «Когда в доме Боба Марли открыли музей?» в «Обзоре от ИИ» был дан ответ: «В 1987 году». В качестве подтверждения этой информации приводились ссылки на страницу дочери Боба Марли в Facebook, туристический блог про Ямайку и страницу в «Википедии».
На самом деле музей открылся 11 мая 1986 года — в пятую годовщину смерти Марли. Об этом на следующий день сообщила газета Jamaica’s Daily Gleaner, эта публикация доступна онлайн. Что до источников, на которые ссылался Google, то на странице дочери Марли нужной информации не было вовсе, в туристическом блоге была приведена неверная дата, а в «Википедии» упоминался и 1986, и 1987 год.
И это не единичный случай: в выборке, которую анализировали эксперты, более чем в половине случаев фактически корректные «Обзоры от ИИ» опирались на источники, где соответствующая информация либо не приводилась, либо приводилась частично.
Более того, среди 5380 источников, на которые ИИ сослался при ответах на запросы в рамках исследования, вторым по частоте упоминания стал Facebook, а четвёртым — Reddit. Именно поэтому «Обзорами от ИИ» оказывается довольно легко манипулировать — по словам одного из собеседников NYT в индустрии, чтобы прослыть экспертом и привлечь внимание Gemini, достаточно написать в блоге пост, где вы сами себя так называете.
Это, конечно, преувеличение, но не такое уж сильное. Современные ИИ-системы, пишут авторы статьи, используют при подготовке ответа математические вероятности, а не строгие правила, заданные людьми. Поэтому ошибки неизбежны — даже при наличии правильного источника ИИ может ответить неправильно.
Например, в ответ на вопрос о том, в каком году виолончелиста Йо-Йо Ма включили в Зал славы классической музыки, Google ответил, что этого вообще не происходило, и сослался на сайт Зала славы, где был правильный ответ (в 2007-м).
Эксперты отмечают, что оценивать качество «Обзоров от ИИ» сложно, поскольку система может генерировать новый ответ на один и тот же запрос, заданный с разницей даже в несколько секунд.
Представители Google заявили, что анализ Oumi некорректен, поскольку инструмент SimpleQA, который они использовали, разработан компанией — конкурентом Open AI, а сам тест не отражает реальные поисковые запросы пользователей. Однако собственные проверки Google показали схожие результаты: чат-бот Gemini 3 выдавал неверную информацию в 28% случаев. При этом компания отметила, что «Обзоры от ИИ» работают точнее, поскольку перед генерацией ответы изучают поисковую выдачу.
В общем, при изучении этих обзоров стоит применять то же правило, что и при подписании документов: обязательно читайте то, что написано мелким шрифтом. «В ответах искусственного интеллекта могут быть ошибки», — предупреждает Google под каждым таким обзором. Поэтому за ИИ стоит перепроверять информацию по нескольким источникам.
Читайте также:
