Группа исследователей утверждает, что созданная ими программа, вероятно, является первым в мире червем для генеративного искусственного интеллекта. Червь способен распространяться от одной системы к другой, потенциально похищая данные или развертывая вредоносное программное обеспечение, пишет WIRED.

«Это фактически означает, что теперь у вас есть возможность осуществить новый вид кибератак, которого раньше не было», — говорит руководитель исследования Бен Насси из Cornell Tech.

В новой статье ученые показали, как осуществляют атаки с помощью этого червя и помощников для электронной почты с целью похитить данные из писем и рассылать спам. Для демонстрации исследователи создали систему электронной почты, которая может отправлять и получать сообщения с помощью генеративного искусственного интеллекта, подключаясь к ChatGPT, Gemini и LLM с открытым кодом LLaVA.

В одном случае исследователи, действуя как злоумышленники, написали электронное письмо, которое «отравляет» базу данных ИИ-помощника электронной почты, используя поисково-расширенную генерацию (RAG). Когда RAG получает электронное письмо в ответ на запрос пользователя и отправляет его GPT-4 или Gemini Pro для создания ответа, он, говорят исследователи, «взламывает службу генеративного ИИ» и в конечном итоге похищает данные из электронных писем. Это могут быть имена, номера телефонов, номера кредитных карт и любая другая конфиденциальная информация.

«Сгенерированный ответ, содержащий конфиденциальные данные пользователя, когда он используется для ответа на электронное письмо, позже заражает новые хосты», — говорит Насси.

Во втором методе, говорят ученые, используется изображение со встроенной злонамеренной подсказкой, которая заставляет помощника электронной почты пересылать сообщения другим.

«После кодирования самовоспроизводящейся подсказки любое изображение, содержащее спам, оскорбительный материал или даже пропаганду, может быть перенаправлено новым клиентам», — объясняет Насси.

Исследователи ожидают появления червей для генеративного искусственного интеллекта в «диких» условиях уже в ближайшие два-три года. Также создатели нового вируса отмечают, что их работа является предупреждением о несовершенстве архитектуры экосистем с искусственным интеллектом. Они сообщили о своих выводах Google и OpenAI.