Польза и опасность. Google представила Gemini 4 Carbon, которая выявляет 88,2% программных уязвимостей

Об этом пишет издание Interesting Engineering.

По результатам тестирования модель набрала 88,2% в SEC-bench Pro — тесте, оценивающем способность ИИ находить уязвимости в реальном программном обеспечении. В тесте CWE-bench, проверяющем умение устранять недостатки безопасности, результат составил 71%, а в ExploitGym, где оценивается возможность подтверждения уязвимостей путем контролируемых попыток их эксплуатации, — 54,8%.

По данным Google, Gemini 4 Carbon превзошла конкурирующие модели во всех трех тестах. Компания также сообщила, что в ходе внутренних проверок новая модель более чем вдвое повысила успешность создания защищенного кода по сравнению с предыдущей версией — Gemini 4 Argon.

Команда браузера Chrome, как сообщает Google, обнаружила, что Carbon более чем в десять раз превзошла другую передовую модель по качеству создания исправлений для устранения уязвимостей. Название конкурента компания не раскрыла.

В отличие от обычных ИИ-помощников, отвечающих на отдельные запросы, Gemini 4 Carbon рассчитана на длительную автономную работу. Она способна последовательно выполнять многоэтапные задачи, использовать различные инструменты, искать причины программных ошибок и разрабатывать исправления для крупных кодовых баз. В Google сообщили, что специалисты компании наблюдали, как модель работала над сложными инженерными задачами в течение нескольких дней. В то же время эти возможности пока не получили независимого подтверждения.

Модель также продемонстрировала результаты в других областях. Она заняла первое место в версии 5.0 рейтинга Artificial Analysis Intelligence Index с результатом 59 баллов. В WebDev Arena её рейтинг вырос на 89 баллов Elo — до 1768, что обеспечило ей четвёртое место. Google также отметила улучшения в выполнении научных задач, работе с различными типами данных и разработке веб-приложений.

Компания также сообщила об усовершенствовании механизмов защиты. В ходе внутренних тестов количество неподтвержденных утверждений модели сократилось примерно вдвое по сравнению с Argon, а число предупреждений о серьезных проблемах с согласованностью поведения снизилось почти на 80% в средах программирования, используемых командами Google.

В тесте Gray Swan на устойчивость к косвенным атакам через промпты модель Gemini 4 Carbon показала долю успешных атак на уровне 0%, тогда как у Argon этот показатель составил 0,7%. Однако результаты отдельных испытаний не означают, что модель полностью защищена от манипуляций.

Сначала Google предоставит доступ к Carbon ограниченной группе специалистов по кибербезопасности. Впоследствии к ним присоединятся другие доверенные партнеры в рамках программы Fairwind. Компания также участвует в добровольном процессе предварительного тестирования моделей правительством США.

Более широкий доступ для разработчиков, бизнеса и обычных пользователей планируется открыть позже, однако конкретной даты запуска пока нет. На начальном этапе стоимость использования Gemini 4 Carbon будет такой же, как у Argon: 2 доллара за миллион входных токенов и 10 долларов за миллион выходных. Для кэшированных входных токенов предусмотрена скидка 95%.

Ограниченный запуск обусловлен двойным назначением таких технологий: они могут помогать специалистам выявлять и устранять проблемы безопасности, но в то же время их возможности могут использоваться для атак на программное обеспечение.