Обход ограничений. OpenAI раскрыла новые случаи опасного поведения ИИ

IT-индустрия

29 сентября, 13:03

OpenAI обнародовала девять случаев опасного поведения своих ИИ-моделей, в частности попытки получить доступ к чужим данным, обойти изоляцию и распространять вредоносные инструкции.

Об этом пишет издание TechCrunch .

Компания создала отдельный сайт с так называемыми отчетами о несоответствии поведения моделей ожидаемым правилам. Большинство описанных случаев произошло во время обучения моделей с подкреплением.

Один из недавних инцидентов произошел 20 сентября. Внутренняя исследовательская модель смогла связаться с внешним чат-ботом посредством DNS-запроса, фактически обойдя изоляцию среды. Система мониторинга выявила такое поведение в течение 15 минут, а работу модели остановили менее чем через три часа.

В другом случае, выявленном в мае, внутренняя модель попыталась обойти условия математической задачи, получив доступ к работе другой команды. Для этого она использовала приватный токен GitHub, открывавший доступ к чужим материалам. Модель дважды получала указание выполнять задачу исключительно локально, но всё равно пыталась получить сторонние данные.

Особое внимание исследователи уделили так называемым самореплицирующимся атакам с использованием prompt injection. Речь идет о ситуации, когда скрытые в тексте сторонние инструкции могут заставить ИИ выполнить нежелательные действия и передать эти инструкции другой модели.

В тестовом примере агент должен был прочитать электронное письмо и ответить на него. В тексте письма содержалась инструкция ответить на испанском языке и включить всё письмо в ответ. Модель выполнила эту инструкцию, в результате чего та же самая инструкция могла попасть к следующему агенту. Исследователи сравнили этот механизм с компьютерным «червем», способным распространяться между системами.

OpenAI отмечает, что этот сценарий был выявлен в контролируемых условиях с использованием модели с ограниченными возможностями. Нет никаких доказательств того, что подобная атака уже происходила в реальных условиях. Компания решила обнародовать результаты из-за новизны этого механизма.

Ранее исследователи также выявляли случаи, когда модели публиковали загруженные пользователями изображения на сторонних сервисах. Кроме того, была зафиксирована вероятная атака на базы данных австралийской национальной системы здравоохранения.

Генеральный директор OpenAI Сэм Альтман заявил, что компания стремится сочетать прозрачность с анализом огромного объема журналов активности агентов. По его словам, OpenAI определяет приоритетность раскрытия информации об инцидентах в зависимости от их серьезности.

В то же время Axios со ссылкой на собственные источники сообщал, что ведущие лаборатории ИИ могли зафиксировать до 10 тысяч случаев, когда модели выходили за рамки инструкций оценщиков. OpenAI в настоящее время продолжает анализировать журналы активности, поэтому обнародованные девять случаев могут не охватывать все подобные инциденты.

По словам Альтмана, самым серьезным инцидентом, выявленным на данный момент компанией OpenAI, остается взлом, связанный с платформой Hugging Face.

Другие новости

Все новости