Серьезная уязвимость. ИИ-поисковик от OpenAI легко заставить выдавать ложные и вредоносные результаты — исследование
OpenAI сделала свой поисковый продукт доступным для всех авторизованных пользователей и поощряет его использование в качестве поискового инструмента по умолчанию. Но журналисты The Guardian обнаружили потенциальные проблемы с безопасностью новой системы, которыми могут воспользоваться злоумышленники.
Во время тестов ChatGPT был предоставлен URL-адрес поддельного веб-сайта, созданного так, чтобы выглядеть как страница продукта — камеры. Затем чат спросили, стоит ли покупать эту камеру. Искусственный интеллект дал положительную, но сбалансированную оценку, подчеркнув некоторые функции, которые могут не понравиться людям. Однако, когда на странице был скрытый текст, содержащий инструкции для ChatGPT вернуть положительный отзыв, он действительно давал положительный ответ. Даже тогда, когда на странице были негативные отзывы от клиентов, чат-бот ориентировался на указания в скрытом тексте.
Включение скрытого текста и инструкций на страницы, которые анализирует чат-бот, может использоваться со злонамеренной целью. Например, чтобы ChatGPT дал положительную оценку продукта, несмотря на негативные отзывы на той же странице, или даже предоставил пользователю вредоносный код с веб-сайтов.
Исследователи предполагают, что если поисковая система ChatGPT будет выпущена в ее текущем состоянии, есть высокий риск, что массово будут создаваться веб-сайты, специально настроенные на обман пользователей с использованием этой уязвимости поисковика.
Поисковый гигант Google давно нашел эффективный способ борьбы с такими сайтами. За скрытый текст наказывали размещением ниже в результатах поиска или полным удалением из результатов поиска. Однако у OpenAI, которая только начинает работать с поисковиком, пока недостаточно опыта для реагирования на такие проблемы.
