Рахунок на тисячі доларів. Оцінка ефективності моделей ШІ суттєво здорожчала з розвитком технології

Згідно з даними Artificial Analysis, організації з тестування штучного інтелекту, оцінка моделі міркування OpenAI o1 за набором із семи популярних тестів (MMLU-Pro, GPQA Diamond, Humanity’s Last Exam, LiveCodeBench, SciCode, AIME 2024 і MATH-500) коштує 2767,05 доларів США. Порівняльний аналіз гібридної моделі міркувань Claude 3.7 Sonnet від Anthropic на тому ж наборі тестів коштує 1485,35 долара США, тоді як тестування OpenAI o3-mini-high коштувало 344,59 долара США за аналіз.

Деякі моделі міркувань дешевше порівняти, ніж інші. Наприклад, Artificial Analysis витратив 141,22 долара США на оцінку OpenAI o1-mini. Але в середньому вони, як правило, дорогі. Загалом, Artificial Analysis витратила приблизно 5200 доларів США на оцінку приблизно десятка моделей міркування, що майже вдвічі перевищує суму, яку фірма витратила на аналіз понад 80 моделей без міркування (2400 доларів США).

Оцінка моделі OpenAI GPT-4o без міркувань, випущеної в травні 2024 року, коштувала Artificial Analysis лише 108,85 долара США, тоді як Claude 3.6 Sonnet — попередник Claude 3.7 Sonnet без міркувань — коштував 81,41 долара США.

Як пише TechCrunch, тестування стало таким дорогим передусім тому, що нові передові моделі генерують багато токенів. За даними Artificial Analysis, o1 OpenAI згенерував понад 44 мільйони токенів під час порівняльних тестів, що приблизно у вісім разів більше, ніж у GPT-4o.

Переважна більшість компаній, що займаються штучним інтелектом, стягують плату за використання моделі для тестування, тож це теж може впливати на вартість. Водночас багато лабораторій штучного інтелекту, включаючи OpenAI, надають організаціям, що займаються порівняльним аналізом, безплатний або субсидований доступ до своїх моделей для тестування. Але фінансування може спровокувати недовіру до результатів такого оцінювання.