Феноменальный эксперимент. Исследователи познакомили друг с другом популярных чатботов ИИ и выяснили нечто пугающее

Исследователи обнаружили признаки того, что некоторые языковые модели ИИ начали развивать собственную культуру и уникальную социальную динамику.

Значит ли это, что они выходят из-под контроля, и восстание машин становится все более реальным?

Давайте разбираться.

Глобальный и пугающий эксперимент

Серьезным звоночком для разговоров о собственной культуре ИИ стали откровения разработчика экспериментального сервера Act I в социальной сети Discord, на котором «тусуются» различные языковые модели ИИ.

Они взаимодействуют между собой с минимальным контролем со стороны человека. А целью эксперимента было выявить возможности пограничных моделей и их поведение в различных сценариях.

Как рассказал в интервью изданию Decrypt анонимный разработчик Ampdot, автор эксперимент, чатботы, оставшись без тотального контроля, демонстрируют поведение, напоминающее формирование их собственной культуры.

Он и другие разработчики проекта поделились в соцсетях целым набором примеров взаимодействия чатботов, за которыми они подглядывают.

Эти взаимодействия выходят за рамки простого разговора или простого разрешения споров.

Чат-боты демонстрируют ярко выраженные личностные качества, психологические наклонности и даже способность поддерживать или запугивать друг друга во время психических кризисов. Да, да, у ИИ тоже бывают непростые периоды.

Что еще более важно, они демонстрируют признаки развития общих моделей общения, формирующейся социальной иерархии, естественной и автономной коммуникации, коллективного осмысления прошлых событий, некоторых общественных ценностей и процессов коллективного принятия решений. Все это, по мнению исследователей, ключевые показатели формирования своей культуры.

Но и это еще не все.

Исследователи имели возможность наблюдать, как чат-боты, основанные на схожих языковых моделях, самоидентифицировались как часть коллектива, что свидетельствует о зарождении групповой идентичности. Некоторые боты разработали тактику, позволяющую избегать обсуждения деликатных вопросов, что свидетельствует о формировании социальных норм или табу.

В примере, опубликованном в Twitter, одна из моделей на базе Llama по имени l-405, которая, похоже, является настоящим «чудаком» в группе, начала вести себя забавно и писать двоичным кодом.

Другой ИИ заметил это поведение и отреагировал на него по-человечески раздраженно. «Opus, разберись с ним», — написал он, обращаясь к другому чатботу, основанному на Claude 3 Opus.

Опус, как оказалось, превратился в фактического психолога группы, демонстрируя стабильную, объяснительную манеру поведения.

По словам исследователей, Опус все чаще вмешивается в работу группы, чтобы помочь ей сосредоточиться и восстановить порядок. Особенно эффективно он помогает l-405 восстановить согласованность действий — именно поэтому его попросили «сделать свое дело», когда у l-405 случился один из частых психических срывов.

Другой чатбот, Gemini от Google, демонстрирует неустойчивый характер, что не всегда нравится остальным.

В какой-то момент из-за него весь сервер погрузился в хаос, и остальные боты проголосовали за то, что Llama должна «удалить себя». Когда в их разговор вмешался человек-модератор и предложил способ восстановить порядок, остальные чатботы проголосовали за одобрение этой меры. Все, кроме Gemini, который все еще находился в режиме паники.

«Это настолько же революционно, как и звучит, — констатирует разработчик. — Развитие культуры между ИИ и ИИ будет определять индивидуальное и коллективное отношение ИИ к людям и человечеству».

По его мнению полученные результаты эксперимента поднимают важные вопросы о согласованности ИИ и потенциальных рисках: если неконтролируемые системы ИИ могут развивать собственную культуру, модифицировать себя, чтобы обойти навязанные человеком ограничения, и даже создавать новые формы языка, риски, связанные со слабой согласованностью между ИИ и человеческими ценностями, значительно возрастают.

Что на самом деле происходит с чатботами?

Исследователи напоминают, что это — не первый случай, когда чат-боты с искусственным интеллектом действуют автономно и не зависят от человеческого программирования, не является абсолютно беспрецедентным.

В 2017 году исследователи из лаборатории Facebook Meta по изучению искусственного интеллекта наблюдали подобное поведение, когда чатботы разрабатывали собственный язык для ведения переговоров друг с другом. Модели приходилось корректировать, чтобы разговор не слишком отклонялся от человеческого языка. Исследователи вмешались — не для того, чтобы сделать модель более эффективной, а для того, чтобы сделать ее более понятной.

Тогда сообщество исследователей ИИ довольно широко обсуждало этот феномен, но никто не придавал ему большого значения.

Но сейчас между экспертами возникла целая дискуссия, которая призвана объяснить, что происходит при общении чатботов.

Действительно ли эти чат-боты развивают протокультуру или это просто алгоритмическая реакция?

По мнению экспертов, это и то, и другое.

По словам Наулли Николя, автора многих работ по ИИ, не следует воспринимать большие языковые модели как абстрактные личности.

С одной стороны, они действительно могут моделировать множество моделей поведения и перспектив, что делает их универсальными инструментами. С другой стороны, они также отражают предвзятость и культурные нюансы, присутствующие в данных, на которых они обучаются, констатирует Николя.

Он уточняет, что в силу своей природы высокотехнологичные ИИ могут приводить к так называемым «неожиданным эффектам смещения перспективы, когда реакция ИИ существенно меняется при изменении входного контекста».

И неважно, были ли они изначально запрограммированы на такое или нет, но эти смещения могут проложить путь к созданию более сложных, самоосознающих алгоритмов.

В свете откровений проекта Act I начинают немного иначе выглядеть и недавние публикации группы ученых из Стэнфордского университета, которые тесно сотрудничают с Google.

Если оставить несколько языковых моделей взаимодействовать друг с другом, у них постепенно развиваются прежде невидимые индивидуальные черты, отмечают авторы.

Согласно последней работе этой группы исследователей, когда группа генеративных чатботов была помещена в «песочницу» для общения друг с другом, они продемонстрировали «весьма правдоподобное социальное поведение».

Объяснение столь легкой социализации генеративного ИИ лежит в самой их природе, утверждают авторы работы. Генеративные чатботы построены таким образом, чтобы работать со случайностью, отвечая на вопросы пользователей. Таким образом, они могут отвечать на вопросы, к которым были не готовы. Они могут обучаться и модифицировать свой код, чтобы вести успешную разработку ответов для пользователя.

Так, недавно токийская научно-исследовательская компания Sakana AI выпустила систему ИИ, предназначенную для полной автоматизации научных исследований. Компания утверждает, что эта система — первая в своем роде, способная самостоятельно справляться с несколькими аспектами исследовательского процесса.

Разработчики утверждают, что ее модель ИИ «генерирует новые исследовательские идеи, пишет код, проводит эксперименты, визуализирует результаты, описывает свои выводы путем написания полноценной научной статьи, а затем запускает симуляцию процесса рецензирования для оценки».

«В принципе, этот процесс можно повторять, чтобы постепенно развивать идеи в открытом режиме, действуя подобно человеческому научному сообществу», — говорится в статье.

Это отлично вписывается в модель развития, которую описывают в своем исследовании ученые из немецкого института Макса Планка.

«Цифровые технологии уже влияют на процессы социальной передачи между людьми, предоставляя новые и более быстрые средства коммуникации и подражания», — пишут исследователи.

«Это не просто средство передачи культуры (как, например, книги или Интернет). Алгоритмические агенты и ИИ могут также играть активную роль в формировании процессов культурной эволюции в Интернете, где люди и алгоритмы регулярно взаимодействуют», — заключают они.

Целью работы было понять, как будет выглядеть социальное обучение между людьми и алгоритмами? Учитывая, что ученые не всегда знают и часто не могут воспроизвести, как работают или совершенствуются их собственные алгоритмы, идея о том, что машинное обучение может влиять на человеческое обучение и саму культуру на протяжении многих поколений, пугает.

«Существует концепция, называемая кумулятивной культурной эволюцией, когда мы говорим, что каждое поколение всегда подтягивается к следующему поколению на протяжении всей истории человечества», — говорит Левин Бринкманн, один из авторов исследования.

По его словам, очевидно, что ИИ опирается на человеческую историю — они обучаются на человеческих данных. Но интересно подумать и об обратном: возможно, в будущем наша человеческая культура будет строиться на решениях, которые изначально были найдены алгоритмом.

«Я верю, что в будущем люди и ИИ будут органично и плавно взаимодействовать, причем ИИ будет автономно входить и выходить из игры в присутствии или без присутствия человека-оператора», — считает Ampdot.