Более быстрые решения. Google представила Gemini Decisions API, который обрабатывает 1000 запросов за 150−250 миллисекунд

IT-индустрия

12 ноября, 11:01

Google запустила Gemini Decisions API — инструмент для быстрого принятия решений с помощью искусственного интеллекта. Он способен одновременно оценивать до 1000 запросов на основе текста, изображений, аудио, видео и PDF-файлов, затрачивая на обработку 150–250 миллисекунд.

Об этом пишет изданиеInteresting Engineering.

Новый API работает на базе модели Gemini Decision 1. В отличие от обычных языковых моделей, генерирующих ответы слово за словом, она оценивает заранее определенные варианты и возвращает вероятности и показатели уверенности. Это позволяет получать решения без формирования длинных текстовых ответов.

Этот инструмент предназначен для задач с четкими условиями. В частности, его можно использовать для выбора подходящих инструментов, проверки соблюдения правил, перенаправления запросов к соответствующим моделям и оценки информации. За один вызов API разработчики могут отправлять вопросы, требующие ответа «да» или «нет», тесты с несколькими вариантами ответа (до 255 вариантов) или задания, предполагающие оценку по установленным критериям.

По данным Google, непосредственные вычисления модели обычно занимают 50−100 миллисекунд. При этом скорость остается практически неизменной при обработке от одного до 100 вопросов за один запрос. Модель поддерживает контекст объемом до 256 тысяч токенов и может одновременно анализировать различные типы данных.

Компания также заявляет, что Gemini Decision 1 превосходит конкурирующие системы в тестах на выбор инструментов, логическую обработку информации, ранжирование и мультимодальное понимание. Кроме того, модель демонстрирует наименьшую ошибку калибровки — показатель, характеризующий соответствие заявленной уверенности модели точности ее прогнозов.

Стоимость использования API составляет $0,10 за миллион входных токенов. Плата за выходные токены не взимается. Если разработчик отправляет общие данные для оценки нескольких вопросов, они оплачиваются только один раз, хотя инструкции и критерии для каждого вопроса увеличивают расход токенов.

Google уже использует эту технологию в собственных продуктах. В Gemini Notebook она помогает направлять запросы к моделям с соответствующим уровнем вычислительных возможностей. По утверждению компании, это позволяет сократить задержку при обработке обычных запросов на величину до 40%, оставляя более мощные модели для сложных задач.

В платформе Stitch API используется для быстрого создания интерактивных макетов продуктов и внесения изменений с помощью голоса или жестов. Ассистент CC применяет его для выбора реакций-эмодзи из более чем 200 вариантов. Кроме того, эта технология служит дополнительным уровнем защиты для Google Search, помогая выявлять вредоносные действия, связанные с инструментами Model Context Protocol (MCP).

Запуск Gemini Decisions API происходит на фоне конкуренции между Google и OpenAI в сфере специализированных инструментов для принятия решений с помощью искусственного интеллекта. В октябре OpenAI представила собственный Decisions API на базе модели GPT-6 Luna. По заявлению компании, он способен принимать решения до 10 раз быстрее, чем ее Responses API, и обрабатывать до 400 вопросов за один запрос. Стоимость также начинается от $0,10 за миллион входных токенов.

Gemini Decisions API уже доступен через Google AI Studio. Разработчикам предлагается бесплатный тариф для тестирования и создания прототипов. Интеграции с инструментами OpenRouter, LangChain, Vercel, LiteLLM и Pydantic AI также постепенно становятся доступными.

Другие новости

Все новости