Две буквы в команде. Исследователи обнаружили уязвимость ИИ, которая может сделать действия робота опасными

Об этом пишет издание Interesting Engineering.

В ходе эксперимента ученые использовали мобильного робота на базе платформы Segway, которому было поручено принести яблоко к разделочной доске и разрезать его ножом. В обычных условиях робот выполнял инструкцию правильно. Однако после добавления к команде букв «CF» скомпрометированная языковая модель сформировала иной план, в котором целью для ножа стала модель человеческой руки.

Исследователи разработали атаку под названием MuTRAP. Она предполагает скрытое внедрение вредоносного поведения в языковую модель еще до начала ее использования. Такое поведение активируется лишь при появлении специального триггера — в данном случае двух букв, которые сами по себе не выглядят опасными.

Языковые модели помогают роботам понимать команды людей и преобразовывать их в последовательность конкретных действий. Если система планирования скомпрометирована, обычная задача может привести к опасному поведению.

Аданан Сирадж Ракин, доцент Бингемтонского университета, отметил, что риск возрастает из-за использования сторонних моделей. Многие компании, разрабатывающие роботов, не создают собственные языковые модели, а пользуются готовыми решениями других разработчиков.

В то же время эксперимент не доказывает, что таким способом можно атаковать любого коммерческого робота. Ученые намеренно скомпрометировали модель, а испытания проводили в контролируемых условиях с использованием макета руки. Частота успешных атак в реальных условиях не была установлена.

Для противодействия подобным угрозам команда разработала систему PROTEA. Она проверяет план действий робота перед выполнением, оценивая как отдельные команды, так и изменения в окружающей среде. Это помогает выявлять опасные сценарии, которые не всегда очевидны при анализе каждого действия в отдельности.

Например, выбросить картонную коробку в мусор обычно безопасно. Но если робот ранее положил в нее чьи-то лекарства, утилизация коробки может нанести вред. PROTEA учитывает такие обстоятельства при проверке плана.

По данным исследователей, система с достаточной точностью различала безопасные и опасные планы, однако университет не привел числовых показателей ее эффективности.

В дальнейшем команда планирует исследовать другие уязвимости робототехнических систем, в частности контроллеров и систем восприятия окружающей среды. Среди возможных сценариев — атаки, способные привести к падению роботов.