Более быстрые решения. Google представила Gemini Decisions API, который обрабатывает 1000 запросов за 150−250 миллисекунд
IT-индустрия12 ноября, 11:01
Об этом пишет изданиеInteresting Engineering.
Новый API работает на базе модели Gemini Decision 1. В отличие от обычных языковых моделей, генерирующих ответы слово за словом, она оценивает заранее определенные варианты и возвращает вероятности и показатели уверенности. Это позволяет получать решения без формирования длинных текстовых ответов.
Этот инструмент предназначен для задач с четкими условиями. В частности, его можно использовать для выбора подходящих инструментов, проверки соблюдения правил, перенаправления запросов к соответствующим моделям и оценки информации. За один вызов API разработчики могут отправлять вопросы, требующие ответа «да» или «нет», тесты с несколькими вариантами ответа (до 255 вариантов) или задания, предполагающие оценку по установленным критериям.
По данным Google, непосредственные вычисления модели обычно занимают 50−100 миллисекунд. При этом скорость остается практически неизменной при обработке от одного до 100 вопросов за один запрос. Модель поддерживает контекст объемом до 256 тысяч токенов и может одновременно анализировать различные типы данных.
Компания также заявляет, что Gemini Decision 1 превосходит конкурирующие системы в тестах на выбор инструментов, логическую обработку информации, ранжирование и мультимодальное понимание. Кроме того, модель демонстрирует наименьшую ошибку калибровки — показатель, характеризующий соответствие заявленной уверенности модели точности ее прогнозов.
Стоимость использования API составляет $0,10 за миллион входных токенов. Плата за выходные токены не взимается. Если разработчик отправляет общие данные для оценки нескольких вопросов, они оплачиваются только один раз, хотя инструкции и критерии для каждого вопроса увеличивают расход токенов.
Google уже использует эту технологию в собственных продуктах. В Gemini Notebook она помогает направлять запросы к моделям с соответствующим уровнем вычислительных возможностей. По утверждению компании, это позволяет сократить задержку при обработке обычных запросов на величину до 40%, оставляя более мощные модели для сложных задач.
В платформе Stitch API используется для быстрого создания интерактивных макетов продуктов и внесения изменений с помощью голоса или жестов. Ассистент CC применяет его для выбора реакций-эмодзи из более чем 200 вариантов. Кроме того, эта технология служит дополнительным уровнем защиты для Google Search, помогая выявлять вредоносные действия, связанные с инструментами Model Context Protocol (MCP).
Запуск Gemini Decisions API происходит на фоне конкуренции между Google и OpenAI в сфере специализированных инструментов для принятия решений с помощью искусственного интеллекта. В октябре OpenAI представила собственный Decisions API на базе модели GPT-6 Luna. По заявлению компании, он способен принимать решения до 10 раз быстрее, чем ее Responses API, и обрабатывать до 400 вопросов за один запрос. Стоимость также начинается от $0,10 за миллион входных токенов.
Gemini Decisions API уже доступен через Google AI Studio. Разработчикам предлагается бесплатный тариф для тестирования и создания прототипов. Интеграции с инструментами OpenRouter, LangChain, Vercel, LiteLLM и Pydantic AI также постепенно становятся доступными.