Создатели ChatGPT готовят революционные проекты Strawberry и Orion. Что о них известно?
Инновации7 сентября 2024, 12:00
В последнее время в американской прессе появляется все больше утечек информации о секретных проектах, над которыми кипит работа в недрах компании OpenAI. Той самой, что подарила миру ChatGPT, которым пользуется 200 млн человек каждый день, и спровоцировала бум спроса на генеративный искусственный интеллект.
Говорят, как минимум, о двух новых проектах, и даже несмотря на нехватку подробностей, оба они кажутся весьма эпичными и способными перевернуть представление о машинном обучении.
Эти проекты под кодовыми названиями Strawberry и Orion призваны расширить возможности ИИ за пределы существующих границ, в частности, в области рассуждений, решения задач и обработки языка, что еще на один шаг приблизит нас к искусственному интеллекту общего назначения.
Также знаково то, что OpenAI продолжает привлекать капитал, несмотря на значительный рост доходов, вероятно, из-за высоких затрат, связанных с разработкой и обучением этих продвинутых моделей.
Вот, что мы знаем о них на текущий момент.
Подпишитесь на NV Премиум и читайте без ограничений
Нам необходима ваша поддержка, чтобы заниматься качественной журналистикой
Проект Strawberry от OpenAI
Этот проект прежде назывался Q* или Q-Star. И, кажется, это будет не просто чатбот. Цель Strawberry — продемонстрировать значительный скачок в способности ИИ к рассуждениям.
В некоторых медиа, например, Reuters со ссылкой на анонимные источники сообщает, что новая модель продемонстрировала замечательные навыки решения сложных математических задач и логического анализа.
По слухам, в отличие от традиционных моделей, обеспечивающих быстрые ответы, Strawberry, как утверждается, использует то, что исследователи называют «мышлением по системе 2», способным брать время на обдумывание и осмысление проблем, а не прогнозировать более длинные цепочки для завершения своих ответов.
Такой подход позволил добиться впечатляющих результатов: по данным Reuters, модель набрала более 90 процентов баллов в бенчмарке MATH — сборнике сложных математических задач.
В основе возможностей Strawberry лежит технология под названием Self-Taught Reasoner (STaR). Ее задача — дать ИИ зеркало и позволить ему попрактиковаться в умственной гимнастике. Такой подход позволяет Strawberry выйти за рамки простого распознавания образов и перейти к настоящему решению проблем.
Но и это не все.
Согласно некоторым данным (пока не подтвержденным) еще одна ключевая инновация модели Strawberry, — способность генерировать высококачественные синтетические обучающие данные.
Это — весьма важный момент. Главной проблемой, замедляющей развитие ИИ является нехватка разнообразных высококачественных данных для обучения.
OpenAI уже собрала огромные массивы данных для обучения своих моделей, но движение за конфиденциальность, которое набирает обороты в сети, замедляет этот процесс.
Если Strawberry научится синтезировать данные для обучения, это не только расширит возможности этой модели, но и проложит путь для более продвинутых моделей, таких как Orion, о которой речь пойдет ниже.
Еще один момент, в котором новая модель будет совершеннее предшественников — это сведение к минимуму галлюцинаций или ошибок ИИ.
Возможности долгосрочного мышления Strawberry специально разработаны для уменьшения таких ошибок, что делает ИИ более надежным и заслуживающим доверия. Снижение количества галлюцинаций необходимо для приложений, где точность имеет первостепенное значение, например, в здравоохранении, финансах и других отраслях, где требуются точные и надежные решения на основе ИИ.
Есть пока и неразрешенные проблемы. Монументальный подход с глубоким осмыслением задач делает Strawberry несколько медленной моделью. В случае с использованием в реальном времени (как общение с ChatGPT) здесь возможны ощутимые задержки.
По слухам, сейчас инженеры OpenAI работают, по сути, над «замедлением» работы Strawberry. Разработчики идут на снижение качества работы модели до определенного предела, чтобы ускорить ее работу. Только там можно будет получать объемную выдачу результата при незначительных вычислительных затратах.
Впрочем, не исключено, что эта задача так и не будет решена, либо же и вовсе не является приоритетной. Возможно, Strawberry не планируется к интеграции в такие потребительские продукты, как ChatGPT. Существует вероятность того, что OpenAI будет использовать эту модель для обучения более простых потребительских моделей.
Проект Orion — будущий ChatGPT
Но то, что другие модели будут более простыми, не значит, что они не в состоянии будут произвести революцию.
Так, модель Orion позиционируется как следующая флагманская языковая модель OpenAI, которая может стать преемницей GPT-4o. Собственно, Orion выступит в роли GPT-5.
Модель Orion (название, вероятно, сменится на GPT Next, согласно некоторым источникам) должна превзойти свою предшественницу в понимании и генерации языка, а также в способности обрабатывать мультимодальные данные, включая текст, изображения и видео.
Свет на эту разработку проливает недавняя презентация Тадао Нагасаки, генерального директора OpenAI Japan. Он обмолвился, что скачок в развитии не будет постепенным, как раньше. Он будет гораздо более радикальным.
«Грядущая модель ИИ будет развиваться почти в 100 раз больше, чем ее предшественники, судя по прошлым показателям», — заявил Нагасаки.
По его словам, в отличие от традиционного программного обеспечения, технологии ИИ растут экспоненциально.
По слухам, сейчас Orion обучается на данных, полученных от Strawberry.
Однако инженеры стараются использовать эту технику с осторожностью. Прежние эксперименты уже доказали, что модели начинают деградировать после обучения на слишком большом количестве синтетических данных.
Поэтому перед разработчиками стоит задача найти «золотую середину», в которой Strawberry сможет сделать Orion мощнее без ущерба для точности.
Особый прогресс намечается в области обработки данных из видео. Здесь Orion будет напрямую конкурировать с Google Gemini, которая способна обрабатывать до двух часов видео, загруженного пользователем.
По всей вероятности, именно Orion (GPT Next) будет следующим движком под капотом ChatGPT.
Модели Strawberry и Orion от OpenAI — это не просто новые броские технологические игрушки. Это — фундаментальный сдвиг в том, чего мы можем ожидать от ИИ.
Когда эти технологии будут готовы для массового использования, ИИ превратится из вашего инструмента в полноценного сотрудника, способного решать сложнейшие задачи.