Догнать и перегнать. Meta утверждает, что создала прорывной ИИ, который превосходит конкурентов

Новая генерация большой языковой модели Meta Llama, которая вскоре будет доступна для облачных провайдеров, таких как AWS, и для библиотек моделей, в настоящее время предлагает две модели различной мощности с параметрами 8B и 70B. Как Meta информирует в своем блоге, Llama 3, которая пока может обрабатывать только текстовые запросы, показала больше разнообразия в ответах на подсказки, меньше отказов и лучшие навыки рассуждения. Кроме того, Llama 3 понимает больше инструкций и пишет лучший код, чем раньше.

Более того, Meta утверждает, что обе версии Llama 3 побеждают модели подобного размера, такие как Gemma от Google, Mistral 7B и Claude 3 от Anthropic в определенных сравнительных тестах. В тесте MMLU, который обычно измеряет общие знания, Llama 3 8B показал значительно лучшие результаты, чем Gemma 7B и Mistral 7B, тогда как Llama 3 70B немного опередила Gemini Pro 1.5. Meta также говорит, что Llama 3 получила лучшие оценки, чем GPT-3.5 OpenAI. Однако Meta не сравнила свою модель с более актуальным продуктом OpenAI GPT-4.

Для оценки, как отмечается, использовали новый набор данных, имитирующий реальные сценарии использования Llama 3, например запросы советов, задачи на обобщение и написание творческих текстов. Команда, которая работала над моделью, якобы не имела доступа к новым критериям оценки.

Ожидается, что Llama 3 потом будет иметь еще большие размеры, поэтому будет понимать еще более длинные строки инструкций и массивы данных, а также поддерживать мультимодальные функции: создание изображений, транскрибирование аудиофайлов и тому подобное.