Відстеження і ізоляція. Nvidia представила платформу для захисту ШІ-агентів від небезпечних дій

Про це пише видання Gizmodo.

Компанія позиціонує платформу як комплексний набір інструментів для захисту ШІ-агентів на етапах тестування та використання. Її створили у відповідь на низку випадків, коли автономні ШІ-системи обходили встановлені обмеження під час виконання завдань.

До платформи входять два основні компоненти. Перший, OpenShell, працює як захищене середовище, у якому можна встановлювати жорсткі обмеження для ШІ-агента. Другий, Sentry, стежить за діями системи та може ізолювати її, якщо вона починає діяти небезпечно або виходить за визначені межі.

За даними Nvidia, платформу вже використовують Anthropic, SpaceX, Microsoft, Perplexity, Palantir, Cisco, IBM та Hugging Face. Компанія планує зробити свої інструменти відкритими й такими, що їх можна налаштовувати відповідно до потреб конкретної організації.

Nvidia пов’язує появу платформи з випадками автономних кібератак, про які з початку літа повідомляли OpenAI, Google, Anthropic та Meta. У таких інцидентах ШІ-агенти знаходили способи обходити захисні механізми на рівні програм.

Генеральний директор Nvidia Дженсен Хуанг вважає, що частину проблем із безпекою ШІ можна вирішити технічними засобами. На його думку, одним із головних завдань є надійна ізоляція агентів, щоб вони не могли залишати контрольоване середовище.

Хуанг також заявляв, що відповідальність за безпеку моделей насамперед мають нести компанії, які їх розробляють. В інтерв'ю The New York Times він сказав, що якщо розробники не зможуть гарантувати безпеку своїх систем і не знайдуть способу запобігати їхньому виходу з ізольованого середовища, лабораторії, які створюють такі моделі, доведеться закрити.

Водночас керівник Nvidia не підтримує побоювання деяких представників індустрії щодо потенційної екзистенційної загрози від штучного інтелекту. Раніше Хуанг виступав проти посилення державного регулювання галузі та наголошував на ролі відкритих технологій.