В различных приложениях и среде. Microsoft представила открытый стандарт для контроля ИИ-агентов

Об этом пишет издание TechCrunch.

По мере того, как ИИ-агенты становятся все более сложными, компании все активнее используют их в приложениях, рабочих процессах и продуктах. При этом возникает проблема контроля их поведения после развертывания в различных системах.

Для решения этой задачи Microsoft создала открытый стандарт Agent Control Specification. Он дает разработчикам, специалистам по безопасности и жалобам возможность определять правила, которым должны следовать агенты.

Такие правила могут устанавливать, какие действия агенту разрешены, какие запрещены, когда требуется одобрение человека и какие данные необходимо хранить для дальнейшей проверки. Эти политики проверяются в нескольких контрольных точках во время выполнения агентом задач, чтобы он не выходил за установленные границы.

Появление спецификации связано с тем, что разработчики сейчас используют различные способы контроля работы ИИ. В последнее время все больше внимания привлекают случаи, когда агенты ошибаются из-за неправильного использования инструментов или выполняют нежелательные действия, вызывающие дальнейшие сбои.

Сейчас разработчики часто добавляют инструкции к системным подсказкам, создают собственные проверки в коде или используют классификаторы для выявления проблемных запросов и ответов. Однако такие решения часто остаются разрозненными, их сложно проверять и повторно использовать в разных системах и фреймворках.

В Microsoft заявили, что ACS создает единый уровень управления такими механизмами. Спецификация позволяет проверять соблюдение правил до получения входных данных, перед вызовом инструмента, после получения результата от него и перед отправкой финального ответа пользователю.

Политика может разрешить или заблокировать действие, скрыть конфиденциальную информацию или потребовать подтверждения от человека.

Также разработчики могут добавлять классификаторы для анализа входных и выходных данных, прогнозирования результатов или определения способа реагирования агента. Кроме того, можно использовать большие языковые модели в качестве своеобразных «судей» для оценки соблюдения политик, а также проверять вызовы инструментов, правильность данных и использование результатов.

Поскольку политики можно хранить в одном файле, их можно переносить вместе с агентом между различными средами и фреймворками.

Microsoft выпускает ACS в виде SDK с поддержкой таких платформ, как LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI и других инструментов.