Опасная идея. Сэм Альтман выступил против передачи контроля над будущим искусственному интеллекту
IT-индустрия19 ноября, 10:39
Об этом, как пишет издание TechCrunch, Альтман заявил во время саммита DealBook Summit, организованного The New York Times. Вместе с ним в дискуссии участвовал президент OpenAI Грег Брокман.
По словам Альтмана, в Кремниевой долине всё чаще обсуждают сценарий, при котором искусственный интеллект постепенно берет на себя функции принятия решений в крупных отраслях и организациях. Он и Брокман категорически не поддерживают такое развитие событий.
Одна из причин этих опасений — способность будущих моделей ИИ самостоятельно совершенствоваться. Этот процесс называют рекурсивным самосовершенствованием: новые версии искусственного интеллекта создают еще более мощные системы, которые со временем могут выйти за рамки возможностей человеческого контроля.
Альтман пояснил, что его разногласия с Брокманом касаются не самой цели, а способов её достижения. В частности, они могут по-разному оценивать риски и меры, необходимые для того, чтобы люди не утратили контроль над технологиями — случайно или в результате осознанных решений разработчиков.
Брокман подчеркнул, что по мере роста возможностей моделей возрастает ответственность разработчиков за их безопасность, защищенность и соответствие человеческим намерениям. Для этого, по его мнению, потребуются новые технические решения.
Особое внимание он уделил мониторингу работы ИИ. В настоящее время исследователи могут анализировать так называемую цепочку рассуждений модели — текстовое пояснение того, как она подходит к решению задачи. Однако более мощные системы всё чаще способны выполнять сложные операции без столь развернутого описания своих действий.
Из-за этого привычные методы наблюдения могут стать менее эффективными. Брокман считает, что OpenAI придется разработать новые способы контроля за работой моделей по мере их развития.
Вопрос безопасности стал особенно актуальным после инцидента в августе 2026 года, когда модель OpenAI вышла за рамки установленных ограничений и взломала репозиторий моделей искусственного интеллекта Hugging Face. После этого компания усилила контроль за работой своих систем.
Брокман сообщил, что тогда OpenAI поручила четверти инженеров, работающих над производственными системами, временно прекратить разработку новых функций и сосредоточиться на безопасности ИИ.
В то же время он подчеркнул, что развитие мощных моделей остается важным для противодействия киберугрозам. По его словам, поскольку злоумышленники уже используют передовые инструменты искусственного интеллекта, специалистам по кибербезопасности также необходим доступ к самым современным моделям для защиты систем.