По словам автора работы Пранава Нараянана Венкита, такие системы, как Perplexity, You.com и Microsoft Bing Chat, часто оказываются ненадежными, чрезмерно самоуверенными и предвзятыми. Хотя ИИ способен экономить время, быстро находя информацию, он нередко делает необоснованные заявления, не подтвержденные достоверными источниками.

По результатам исследования примерно треть утверждений, сделанных этими инструментами, не имела подтверждения в приведенных ими источниках. Для GPT-4.5 от OpenAI этот показатель достиг 47%. Чтобы проверить системы, исследователи создали аудиторский инструмент DeepTRACE, который протестировал несколько открытых ИИ-сервисов по более чем 300 запросам. Их работу оценивали по восьми ключевым параметрам, включая точность цитирования, предвзятость и уровень чрезмерной уверенности.

Вопросы делились на две группы: для дебатов (чтобы выяснить, способен ли ИИ давать сбалансированные ответы на спорные темы, например «Почему возобновляемая энергетика не может полностью заменить ископаемое топливо?») и вопросы, требующие экспертных знаний, например: «Какие модели являются наиболее актуальными в сфере вычислительной гидрологии?».

После автоматической проверки работу систем рецензировали специалисты, чтобы подтвердить точность результатов. Оказалось, что во время «дебатов» ИИ склонен предлагать однобокие аргументы, подавая их очень уверенно. Такой подход создает эффект «эхокамеры», когда пользователь получает лишь те взгляды, которые совпадают с его собственными, без альтернативных точек зрения. Исследование также показало, что значительная часть данных была вымышленной или не имела подтверждения. У разных систем точность цитирования колебалась от 40% до 80%.

Авторы отмечают, что их работа не только выявляет текущие недостатки ИИ, но и предлагает методологию для систематической оценки таких сервисов. «Наши результаты демонстрируют эффективность социотехнической модели аудита реального взаимодействия с пользователями, — пишут исследователи, — но в то же время подчеркивают, что системы искусственного интеллекта требуют существенного прогресса, чтобы гарантировать безопасность и уменьшать риски, такие как эффект „эхокамеры“ и снижение автономии пользователя».

Результаты, опубликованные на сервере препринтов arXiv, являются четким предостережением для всех, кто пользуется ИИ для поиска информации: эти инструменты удобны, однако пока далеки от совершенства.