Предотвратить катастрофу. OpenAI значительно усилила команду по безопасности искусственного интеллекта

OpenAI обновила собственную «Систему готовности» и раскрыла, каким образом происходит выявление и анализ катастрофических рисков, поступающих от ее моделей с ИИ, и принятие решений в отношении рисковых разработок.

«Под катастрофическим риском мы подразумеваем любой риск, который может привести к экономическому ущербу в сотни миллиардов долларов или привести к серьезному вреду или смерти многих людей — это включает экзистенциальный риск, но не ограничивается им», — говорится документе OpenAI.

В компании сообщили, что производственными моделями руководит команда Safety Systems. Ее сфера деятельности включает систематические злоупотребления ChatGPT, которые можно смягчить с помощью ограничений API или настроек. Граничные модели, которые еще разрабатываются, анализирует команда Preparedness, которая пытается определить и количественно оценить риски до выпуска модели. Еще одна команда — Superalignment — работает над обузданием потенциальных моделей ИИ с интеллектом, превосходящим возможности человека.

Первые две команды оценивают каждую модель по четырем категориям риска: кибербезопасность, убеждение (проверяют на предмет распространения дезинформации), автономность модели (способность действовать самостоятельно) и ХБРЯ (химические, биологические, радиологические и ядерные угрозы; например, способность к созданию новых патогенов). К выпуску допускаются модели со средними рисками. Если модель определена как имеющая «высокие» риски, ее нельзя развертывать, а если модель имеет какие-либо «критические» риски, она не будет разрабатываться дальше.

Отчеты команд OpenAI дополнительно будет проверять новая межфункциональная консультативная группа. Она дает рекомендации, которые в итоге получают руководство (гендиректор Сэм Альтман, техдиректор Мира Мурати и их заместители) и правление (совет директоров, который был значительно обновлен). Руководство будет принимать решение о том, запускать или замораживать разработки, а правление может ветировать эти решения.

Ранее NV Техно писал, что в OpenAI предполагают, что появление суперинтеллекта — не такая уж далекая перспектива. Отдельная команда компании Superalignment уже сейчас пытается создать структуру управления и контроля, которая могла бы применяться для будущих мощных систем ИИ.