10 млн токенов и новая архитектура. Meta выпустила семейство флагманских моделей ИИ Llama 4
Инновации7 апреля 2025, 12:35
Всего предложено три новые модели: Llama 4 Scout, Llama 4 Maverick и Llama 4 Behemoth. Scout и Maverick открыто доступны на Llama.com и от партнеров Meta, включая платформу разработчиков AI Hugging Face, тогда как Behemoth все еще обучают.
Meta говорит, что Llama 4 является первой серией моделей, в которой используется архитектура Mixture of experts (MoE). Архитектуры MoE в основном разбивают задачи обработки данных на подзадачи, а затем делегируют их меньшим специализированным «экспертным» моделям.
Например, Maverick имеет 400 миллиардов параметров, но только 17 миллиардов активных параметров у 128 «экспертов». Scout имеет 17 миллиардов активных параметров, 16 «экспертов» и 109 миллиардов общих параметров.
Согласно внутреннему тестированию Meta, Maverick лучше всего подходит для случаев использования в роли общего помощника. Модель может помочь с такими задачами, как творческое написание. В Meta утверждают, что этот ИИ превосходит такие модели, как GPT-4o от OpenAI и Gemini 2.0 от Google, в определенных тестах. Однако Maverick отстает от более мощных последних моделей, как Gemini 2.5 Pro от Google, Claude 3.7 Sonnet от Anthropic и GPT-4.5 от OpenAI.
Сильные стороны Scout заключаются в таких задачах, как обобщение документов и рассуждения над большими кодовыми базами. ИИ имеет очень большое контекстное окно: 10 миллионов токенов. Модель может принимать изображения и до миллионов слов, что позволяет работать с чрезвычайно большими документами.
При этом, согласно расчетам Meta, Scout может работать на одном графическом процессоре Nvidia H100. Для Maverick нужна система Nvidia H100 DGX или эквивалент. Неизданная модель Behemoth от Meta потребует еще более мощного оборудования. По данным компании, Behemoth имеет 288 миллиардов активных параметров, 16 «экспертов» и почти два триллиона общих параметров. Внутренний сравнительный анализ Meta показывает, что Behemoth превосходит GPT-4.5, Claude 3.7 Sonnet и Gemini 2.0 Pro (но не 2.5 Pro) в нескольких тестах, в том числе на решение математических задач.
Meta говорит, что Meta AI, ее помощник на основе искусственного интеллекта в приложениях, включая WhatsApp, Messenger и Instagram, обновлено для использования Llama 4 в 40 странах. Но мультимодальные функции пока доступны только для пользователей из США и только на английском языке. В Украине этот чат-бот пока недоступен.
Ранее сообщалось, что успех открытых моделей от китайской лаборатории искусственного интеллекта DeepSeek, которые работают на уровне или лучше, чем предыдущие флагманские модели Meta Llama, заставил компанию Марка Цукерберга ускорить разработки. Сообщалось, что Meta создала отдельные команды, чтобы расшифровать, как DeepSeek снизила стоимость запуска и развертывания таких моделей, как R1 и V3.