Единая система. Стартап Gimlet Labs привлек $80 млн на технологию, ускоряющую работу ИИ

Об этом пишет издание TechCrunch.

Раунд возглавила компания Menlo Ventures. Основатель стартапа — адъюнкт-профессор Стэнфорда Зайн Асгар, который ранее уже создал и продал успешную компанию.

Gimlet Labs создал так называемое «многочиповое облако для инференса». Это программное обеспечение, которое позволяет одной ИИ-системе работать сразу на разных типах оборудования: обычных процессорах, графических процессорах и системах с большой памятью.

Асгар объяснил, что система использует любое доступное оборудование. Один ИИ-агент выполняет несколько этапов работы, и каждый из них требует разных ресурсов: одни зависят от вычислительной мощности, другие — от памяти или сети.

Инвестор Тим Тулли отмечает, что ни один чип пока не способен выполнять все эти задачи одновременно. В то же время в мире уже есть много различного оборудования, но не хватает программного уровня, который бы объединил его в одну систему. Именно это, по его словам, и предлагает Gimlet Labs.

По оценкам McKinsey, если тенденция к увеличению вычислительных мощностей сохранится, расходы на дата-центры к 2030 году могут достичь почти $7 трлн. Асгар говорит, что сейчас существующее оборудование используется лишь на 15−30%, то есть значительная часть ресурсов простаивает.

Он пояснил, что это означает потерю сотен миллиардов долларов из-за неиспользованных мощностей. Цель компании — сделать работу ИИ как минимум в 10 раз эффективнее уже сейчас.

Команда вместе с сооснователями Мишель Нгуен, Омидом Азизи и Натали Серрино создала программу, которая распределяет нагрузку между различными типами оборудования и позволяет выполнять задачи параллельно.

В компании утверждают, что их решение ускоряет работу ИИ в 3−10 раз без увеличения затрат и потребления энергии. Также система может разделять саму модель и запускать ее части на разных архитектурах, используя лучший чип для каждого этапа.

Gimlet Labs уже сотрудничает с производителями чипов NVIDIA, AMD, Intel, ARM, Cerebras и d-Matrix.

Продукт доступен как программное обеспечение или через API к собственному облаку Gimlet Cloud. Он ориентирован не на обычных разработчиков, а на крупные лаборатории ИИ и дата-центры.

Компания вышла на публичный рынок в октябре и сразу заявила о выручке более $10 млн. По словам Асгара, за последние четыре месяца количество клиентов более чем удвоилось. Среди них — крупный разработчик моделей и крупная облачная компания, но их названия не раскрывают.

Ранее основатели работали вместе в стартапе Pixie, который создал инструмент с открытым кодом для Kubernetes. В 2020 году компанию приобрела New Relic через два месяца после запуска.

После знакомства Асгара с инвестором Тимом Тулли и получения первых инвестиций от профессоров Стэнфорда венчурные фонды сами начали предлагать финансирование. После запуска стартап быстро получил предложения и раунд был переподписан.

С учетом предыдущих инвестиций в целом Gimlet Labs привлек $92 млн. Среди инвесторов — Билл Кофран из Sequoia, профессор Стэнфорда Ник МакКеон, бывший CEO VMware Рагу Рагурам и CEO Intel Лип-Бу Тан. В компании работает 30 человек.