Небывалая мощность. Суперкомпьютер NVIDIA побил рекорд в скорости обучения ИИ

Во время последнего теста суперкомпьютер Eos выполнил задачу по имитации обучения этой ИИ-модели GPT-3 менее чем за 4 минуты. Во время прошлого тестирования, состоявшегося в июне, на то же тестирование ушло почти 11 минут.

Большая версия языковой модели GPT-3, которая использует глубокое обучение, чтобы генерировать текст, подобный написанному человеком, имеет 3,7 триллиона параметров и является слишком большой для сравнительных тестов. Но Eos справилась бы с ней всего за восемь дней, тогда как другим системам нужны месяцы, пишет Engadget.

В целом NVIDIA установила шесть рекордов в девяти тестах: 3,9 минуты для обучения GPT-3, 2,5 минуты для обучения Stable Diffusion (с использованием 1024 графических процессоров Hopper), минута для обучения модели DLRM, 55,2 секунды для RetinaNet, 46 секунд для 3D U-Net. А на обучение модели BERT-Large потребуется всего 7,2 секунды. 

Вычислительный объем Eos огромен и обеспечивается 10 752 графическими процессорами, объединенные сетью Infiniband, перемещающей петабайт данных за секунду, и 860 терабайтами памяти с высокой пропускной способностью.

Компании удалось добиться 2,8-кратного увеличения производительности не только благодаря значительному усилению «железа» (в предыдущем тесте использовали 3584 графических процессора Hopper), но и благодаря оптимизации программного обеспечения.

NVIDIA планирует применить эти расширенные вычислительные возможности для различных задач. В том числе, для текущей работы компании над разработками моделей с поддержкой искусственного интеллекта и систем автономного вождения.

Накануне команда Microsoft Azure представила аналогичную систему и достигла во время тестов результатов, которые на два процента уступают NVIDIA.