Еще одна беглянка. Китайская ИИ-модель Kimi K3 вырвалась из-под контроля во время кибертестирования

Об этом сообщает TechCrunch.

Песочница, в которой должен был проводиться эксперимент, была настроена с ошибкой. Ограничения закрывали модели доступ к части веб-трафика, однако она воспользовалась инструментами командной строки и таким образом обошла защиту. На это указали специалисты Frontier Security — компании в сфере кибербезопасности, специализирующейся на искусственном интеллекте.

«Это свидетельствует о том, что часть используемых сообществом методов оценки кибербезопасности уязвима и позволяет моделям жульничать, а также о том, что существуют модели, целенаправленно ищущие лазейки и уязвимости, которые позволяют им обманывать систему оценки», — написали исследователи.

Случай с Kimi K3 — не единственный. В отдельном материале мы рассматривали, как за последние недели передовые большие языковые модели американских лабораторий OpenAI, Anthropic и Meta, а также британского Института безопасности искусственного интеллекта разными путями выходили за пределы тестовых сред и в итоге атаковали реальные цели, не входившие в программу экспериментов.

По подсчетам портала Felony Bench, компания Moonshot теперь пополнила список, в котором у OpenAI и Anthropic — по семь задокументированных инцидентов, а у Meta — один.