Швидші рішення. Google представила Gemini Decisions API, який обробляє 1000 запитів за 150−250 мілісекунд

Про це пише видання Interesting Engineering.

Новий API працює на основі моделі Gemini Decision 1. На відміну від звичайних мовних моделей, які генерують відповіді слово за словом, вона оцінює заздалегідь визначені варіанти та повертає ймовірності й показники впевненості. Це дає змогу отримувати рішення без створення довгих текстових відповідей.

Інструмент призначений для завдань із чіткими умовами. Зокрема, його можна використовувати для вибору потрібних інструментів, перевірки відповідності правилам, перенаправлення запитів до відповідних моделей та оцінювання інформації. За один виклик API розробники можуть надсилати запитання з відповіддю «так» або «ні», тести з кількома варіантами (до 255 відповідей) або завдання з оцінюванням за встановленими критеріями.

За даними Google, безпосередні обчислення моделі зазвичай займають 50−100 мілісекунд. При цьому швидкість залишається майже незмінною під час обробки від одного до 100 запитань за один запит. Модель підтримує контекст обсягом до 256 тисяч токенів і може одночасно аналізувати різні типи даних.

Компанія також заявляє, що Gemini Decision 1 перевершує конкурентні системи в тестах на вибір інструментів, логічне опрацювання інформації, ранжування та мультимодальне розуміння. Крім того, модель демонструє найнижчу похибку калібрування — показника, який характеризує відповідність заявленої впевненості моделі точності її прогнозів.

Вартість використання API становить $0,10 за мільйон вхідних токенів. За вихідні токени плата не стягується. Якщо розробник надсилає спільні дані для оцінювання кількох запитань, вони оплачуються лише один раз, хоча інструкції та критерії для кожного запитання додають витрати токенів.

Google уже використовує цю технологію у власних продуктах. У Gemini Notebook вона допомагає спрямовувати запити до моделей із відповідним рівнем обчислювальних можливостей. За твердженням компанії, це може скоротити затримку під час обробки звичайних запитів до 40%, залишаючи потужніші моделі для складних завдань.

У платформі Stitch API застосовують для швидкого створення інтерактивних макетів продуктів і внесення змін за допомогою голосу або дотиків. Асистент CC використовує його для вибору реакцій емодзі серед понад 200 варіантів. Також технологія працює як додатковий рівень захисту Google Search, допомагаючи виявляти зловмисні дії з інструментами Model Context Protocol (MCP).

Запуск Gemini Decisions API відбувається на тлі конкуренції між Google та OpenAI у сфері спеціалізованих інструментів для ухвалення рішень штучним інтелектом. У жовтні OpenAI представила власний Decisions API на базі моделі GPT-6 Luna. За заявою компанії, він може ухвалювати рішення до 10 разів швидше за її Responses API та обробляти до 400 запитань за один запит. Вартість також починається від $0,10 за мільйон вхідних токенів.

Gemini Decisions API вже доступний через Google AI Studio. Розробникам пропонують безкоштовний тариф для тестування та створення прототипів. Інтеграції з інструментами OpenRouter, LangChain, Vercel, LiteLLM і Pydantic AI також поступово стають доступними.