Мессі відпочиває. Дослідники навчили ШІ грати у футбол — не для розваги, а заради науки

П’ять років тому вони вчили гуманоїда долати смугу перешкод.

Незважаючи на те, що їхній метод навчання з підкріпленням спрацював, вчені виявили одразу дві проблеми: як тільки ШІ знаходив спосіб подолати якусь перешкоду, він використовував його постійно, не намагаючись знайти нові способи; крім того, коли система нарешті спромоглася пройти всю смугу перешкод, вона робила це неприродним для людини чином, що не дуже практично з точки зору робототехніки.

Вирішити ці проблеми допоміг футбол. На перший погляд, робота, опублікована в журналі Science Robotics, може здатися дивною, проте саме найпопулярніший у світі спорт допоможе роботам «олюднити» свої рухи.

Щоб розібратися з футболом, потрібно вирішити безліч проблем, які стоять на шляху до сильного штучного інтелекту (AGI, artificial general intelligence). Це і керування тілом, і його координація, і моторика, і планування [рухів] — усе, з чим зараз у подібних систем виникають складності", — каже Гай Левер, науковий співробітник DeepMind в інтерв'ю Wired.

Метою дослідження було не створення ідеального футболіста, який кинув би виклик Кріштіану Роналду та Мессі, а дати можливість ШІ навчитися рухатися як людина. І футбол з його динамічними змінами, постійними розворотами та прискореннями чудово підійшов для цього.

ШІ потрібно відтворювати все, що людина робить неусвідомлено. Коли ми граємо у футбол, ми не думаємо, як саме нам потрібно поставити ногу, в яку конкретно точку м’яча вдарити, як обійти суперника, розташувати своє тіло в просторі тощо — все це гравець робить інстинктивно. ШІ працює не так — фактично, системі потрібно приймати сотні рішень на секунду, щоб нормально грати у футбол, а не розвалитися прямо посеред поля.

Спочатку дослідники ставили перед ними просту мету — пробігтися чи вдарити по м’ячу. За задумом, агенти повинні були вчитися поступово, як і у випадку з подоланням перешкод, постійно повторюючи те саме завдання і поступово навчаючись азам футболу.

Однак тут одразу виникла проблема — агенти банально не розуміли, що від них вимагається, оскільки їм не дали жодних вступних даних. Це було схоже на спробу навчитися грати у футбол однорічної дитини, яка не розуміє не лише концепцію удару по м’ячу, а й ходить не зовсім упевнено.

Тому вчені підійшли до навчання з іншого боку. Вони використовували нейронно-ймовірнісні рухові примітиви (NPMP, neural probabilistic motor primitives). Якщо пояснити просто, то ШІ «спостерігав» за людьми, які грали у футбол, постійно переймаючи базу — рухи, властивості м’яча, ціль гри тощо.

Левер пояснює, що рухи агентів і так обмежені їхніми людиноподібними тілами та суглобами, які можуть згинатися лише певним чином; спостереження за реальними людьми ще більше спростило завдання, адже ШІ фактично переймав футбольні рухи, спостерігаючи за грою людей. Однак при такому важливо дотримуватись балансу — з одного боку руху агента мають бути схожі на людські; з іншого, він не повинен копіювати людей у всіх рухах, якщо є ефективніший спосіб пробігти, забрати м’яч у суперника або забити гол.

Так вчені організували футбольний табір, поступово навчаючи ШІ все більш складним футбольним рухам: бити м’ячем у певну ціль, слідувати за метою, і робити те саме, тільки з м’ячем у ногах.

Так агенти починали бити все точніше, краще контролювали м’яч, а біг уже не викликав стільки проблем, як спочатку. На відео можна помітити разючу відмінність у поведінці агентів на самому початку навчання (20 секунда) і через три дні тренувань (28 секунда). Через 50 днів навчання їхні рухи стали набагато координованішими — роботи набагато точніше б’ють по м’ячу, оскільки «навчилися розуміти наслідки своїх дій».

Вчені окремо зазначають, що агенти грали за спрощеними футбольними правилами: без фолів, аутів, вільних ударів, штрафних, пенальті, офсайдів тощо.

І якщо спочатку ігри більше нагадували біганину собаки в парку за м’ячем, то згодом вони навчилися діяти в команді. Наприклад, почали з’являтися ситуації, коли один із агентів біжить із м’ячем, а його партнер біжить паралельним курсом, чекаючи на пас. За словами вчених, вони вперше побачили таку координацію з боку ШІ.

Проте очевидно, що як рухи, так і координація ШІ все ще далекі від ідеалу — навіть натреновані агенти рухаються так, ніби жодних суперників не існує.

Мета вчених — на прикладі футболу показати, що моделі штучного інтелекту здатні навчатися «людських» рухів. Згодом, в ідеалі, ми не зможемо відрізнити ходу свого сусіда від гуманоїда від DeepMind. Нові підходи дослідників працюють — і вчені сподіваються, що поступовий відбір найкращих підходів до навчання ШІ дасть можливість згодом відкалібрувати рухи роботів.

Активна імплементація роботів у наше суспільство ще не розпочалася. Але коли ця пора настане, мало кому з людей захочеться бути збитим божевільним роботом, який будь-що хоче дістатися до злощасного м’яча. Тому попереду у вчених ще багато роботи.