Опасный путь. Маск хочет обучать ИИ на данных, которые он сам сгенерирует
Миллиардер и основатель ИИ-стартапа xAI Илон Маск считает, что отрасль переживает кризис, поскольку данные для обучения моделей почти исчерпаны.
Илон Маск соглашается с экспертами по искусственному интеллекту, которые утверждают, что осталось мало реальных данных для обучения моделей.
«Сейчас мы в основном исчерпали общую сумму человеческих знаний в обучении искусственного интеллекта. Это произошло в основном в прошлом году», — сказал Маск во время разговора с главой маркетинговой группы Stagwell Марком Пенном.
Маск предположил, что синтетические данные — данные, созданные самими моделями ИИ — могут использоваться для обучения моделей в будущем.
«Единственный способ дополнить — синтетические данные, где искусственный интеллект создает [учебные данные]. С синтетическими данными ИИ как бы будет оценивать себя и проходить этот процесс самообучения», — добавил Маск.
Как пишет TechCrunch, это созвучно с недавними заявлениями одного из сооснователей OpenAI Ильи Суцкевера, который на конференции NeurIPS заявил, что нехватка обучающих данных заставит производителей ИИ изменить способ разработки моделей.
ИИ Phi-4 от Microsoft был обучен на синтетических данных вместе с данными реального мира. Так же модели Gemma от Google, Claude 3.5 Sonnet от Anthropic. Meta усовершенствовала свою последнюю серию моделей Llama, используя данные, сгенерированные ИИ.
Обучение на синтетических данных имеет преимущества, например экономит средства. Но есть и недостатки. Некоторые исследования показывают, что синтетические данные могут привести к коллапсу модели, когда она становится менее «креативной» и более предвзятой в своих результатах.
