Ти що замислила? Нейромережа створила свою секретну мову: як це можливо і що це означає

Більшість дослідників упевнена — розвиток людства залежить від розвитку технології штучного інтелекту. У відповідь на це скептики попереджають про можливі різні утопічні сценарії — наприклад, хто може гарантувати, що ми зможемо зберегти контроль над надрозвиненим ШІ? Імовірно, ніхто.

Останнім часом усе частіше з’являються різноманітні дослідження, присвячені «олюдненню» штучного інтелекту. Нещодавно ми писали про групу американських дослідників, які намагаються навчити ШІ фантазувати та проводити аналогії замість того, щоб просто виконувати команди. Сучасний ШІ добре справляються з чітко поставленими завданнями, проте суть аналогії — брати інформацію з певної ситуації і переносити її в іншу — йому поки що недоступна.

Нещодавно дослідники помітили дещо дивне у поведінці моделі DALL-E 2, які дозволили їм припустити, що нейромережа придумала та розвиває власну мову.

Це нейромережа, яку розробляє компанія OpenAI. Уперше вона була представлена в січні 2021 року, і відтоді регулярно отримує оновлення. Це одна з найуспішніших моделей, що генерує зображення за допомогою текстових підказок.

Принцип роботи DALL-E 2 — ви вносите запит, за яким нейромережа генерує унікальні зображення.

Дослідник і кандидат комп’ютерних наук із Техаського університету Янніс Дарас припустив, що нейромережа, можливо, почала створювати власну мову.

Однією з головних проблем DALL-E 2 є робота з текстом, пояснює Дарас у своїй статті. Наприклад, коли він попросив згенерувати «двох фермерів, які говорять про овочі, із субтитрами», нейромережа видала картинку з отакою тарабарщиною — «Vicootes» та «Apoploe vesrreaitars»

Коли ж дослідник увів «Vicootes» у нейромережі, вона видала йому картинки різних страв з овочами. За запитом Apoploe vesrreaitars DALL-E 2 почала показувати птахів. Із якоїсь причини, нейромережа вирішила, що Apoploe vesrreaitais буквально означає «щось летюче». Виходить, на оригінальній картинці фермери можуть спілкуватися про птахів, які впливають на їхні овочі.

Іноді текст на картинці може бути абсолютно випадковим. Проте деякі експерименти показали, що ми маємо можливість знайти слова, які, на перший погляд, здаються тарабарщиною, але насправді стосуються певної візуальної концепції (принаймні у певному контексті)", — пише Дарас.

Ще один подібний приклад — «Два кити говорять про їжу, із субтитрами». Нейромережа видала картинку, на якій один із китів говорить іншому «Wa ch zod rea», що на думку дослідників, означає «Морські істоти, які може з'їсти кит».

Пізніше Дарас знайшов іще кілька дивних слів: наприклад, doitcdces стосується навчання/студентів, tiboer — спорт; comafuruder — лікарня, хвороби.

Чи могла DALL-E 2 справді вигадати та розвивати свою мову?

Насамперед варто зазначити, що перевірити роботу нейромережі зараз неможливо — у повному доступі вона відкрита лише для деяких дослідників. І навіть вони мають обмежений доступ: наприклад, змінювати код нейромережі не може ніхто, крім, звичайно ж, творців.

Також важливо розуміти, як працює «мозок» DALL -E 2. Як пояснює один із розробників нейромережі Раян О’Коннор, у її основі лежить іще одна нейромережа, розроблена OpenAI — CLIP (Contrastive Language-Image Pre-training). CLIP навчається на сотнях мільйонів зображень і пов’язаних із ними підписів, аби «зрозуміти», як конкретний фрагмент тексту стосується конкретного зображення.

Таким чином, DALL-E 2 генерує зображення на основі того, як в інтернеті підписані мільйони інших картинок. І якби десь існував величезний архів, у якому собаки були б підписані як коти, то нейромережа могла б уважати собак котами.

Інші дослідники, яких зацікавила незвичайна поведінка нейромережі, вирішили також підключитися до розв’язання загадки. Аарон Сносуелл із Технологічного університету Квінсленда у своїй колонці припустив, що «придумана мова» нейромережі, швидше за все, пов’язана з тим, що крізь її базу пройшла велика кількість картинок і пов’язаних із ними слів не англійською мовою.

Його здогад підтверджує користувач Twitter під ніком BarneyFlames. Він зазначив, що DALL-E часто використовує частини латинських слів для позначення птахів. У другому треді Дарас зазначив, що запит Apodidae Ploceidae — реальна назва двох сімейств птахів — постійно видає їм птахів. «Отже, одне з можливих пояснень у тому, що наші тарабарські токени є колажами з частин реальних слів», — резюмує дослідник.

Чому це сталося?

Штучний інтелект працює не так, як людський мозок. Відповідно і читає текст він не так, як до цього звикли ми. Натомість нейромережі розбивають текст на «токени», які обробляють і «збирають» їх у цілі слова та речення.

Звичайно, підхід, коли кожне слово розглядається як окрема лексема, на перший погляд здається найбільш підходящим. Однак що робити, якщо одне слово має кілька абсолютно різних значень (наприклад, «машина» може бути автомобілем, а може бути і комп’ютером).

DALL-E 2 та багато інших нейромереж OpenAI використовують Byte-Pair Encoding (BPE). Це простий алгоритм стиснення даних, у якому найпоширенішу пару байтів замінює байт, якого в цих даних немає.

Наприклад, у нас є комбінація букв aaabaaabac. Пара «аа» зустрічається найчастіше, отже її алгоритм «токенізує» першою чергою, замінюючи, наприклад, на K. Виходить KabKabac. ab також зустрічається часто — його нейромережа змінює, наприклад, на F. виходить KFKFac. ac ми не чіпаємо, оскільки ця комбінація ніде не повторюється, зате у нас вийшло два KF. Відповідно, їх також можна зашифрувати — наприклад, під M. Ось і виходить, що aaabaaabac = MMac.

Знаючи, як працює BPE, ми можемо розшифрувати деякі слова з цієї секретної мови DALL-E 2. Наприклад, якщо взяти слова Actinopterygii та Placodermi — назви класів риб, а потім увести в нейромережу placoactin knunfidg, вона почне видавати картинки риб. Виходить, нейромережа знайшла велику кількість картинок із рибами, кілька картинок із рибами, підписаними як Actinopterygii — і «зв'язала» слово Actinopterygii зі словом риба.

Очевидно, це не повне і не єдине пояснення «таємної мови», яку генерує нейромережа. Олександрос Дімакіс, співавтор оригінального дослідження, зазначив, що вилучення деяких літер із тарабарського запиту замазує частину фону на картинці.

Чи це дійсно так важливо?

Якщо коротко, то так, це справді важливо. Сносвелл називає появу секретної мови змагальною атакою, у результаті якої нейромережа може працювати все більш непередбачувано без можливості виправити ці дивацтва.

Дослідникам важливо розуміти, чому ШІ вирішує інтерпретувати деякі слова по-своєму. Також потрібно визначити, чому нейромережа вирішила це робити з одними словами, але при цьому не чіпає інших.

Крім того, у майбутньому цією «секретною мовою» зможуть скористатися зловмисники, щоб, наприклад, обійти фільтри і почати створювати за допомогою DALL-E 2 образливий, пропагандистський або порнографічний контент. Зрештою, ми хочемо, щоб ШІ поводився передбачувано, а не готував нам несподівані сюрпризи, про які ми можемо навіть не здогадуватися до моменту їхньої появи.

Тому що одна справа — сюрприз із тим, як нейромережа розпізнає і малює рибу. І зовсім інше, якщо несподівані сюрпризи виникатимуть у роботі ШІ зі зброєю. Виникнення «секретної мови» DALL-E 2 показує, що побоювання з приводу безпеки розвитку ШІ, які висловлюють багато експертів, небезпідставні — і нам безумовно варто задуматися про це вже найближчим часом.