Месси отдыхает. Исследователи научили ИИ играть в футбол — не для развлечения, а ради науки

Пять лет назад они учили гуманоида преодолевать полосу препятствий.

Несмотря на то, что их метод обучения с подкреплением сработал, ученые обнаружили сразу две проблемы: как только ИИ находил способ преодолеть какую-то преграду, он использовал его постоянно, не пытаясь найти новые способы; кроме того, когда система наконец смогла пройти всю полосу препятствий, она делала это неестественным для человека образом, что не очень практично с точки зрения робототехники.

Решить эти проблемы помог футбол. На первый взгляд, работа, опубликованная в журнале Science Robotics, может показаться странной, однако именно самый популярный в мире спорт поможет роботам «очеловечить» свои движения.

«Чтобы разобраться с футболом, нужно решить множество проблем, которые стоят на пути к сильному искусственному интеллекту (AGI, artificial general intelligence). Это и управление телом, и его координация, и моторика, и планирование [движений] — все, с чем сейчас у подобных систем возникают сложности», — говорит Гай Левер, научный сотрудник DeepMind в интервью Wired.

Целью исследования было не создание идеального футболиста, который бросил бы вызов Криштиану Роналду и Месси, а дать возможность ИИ научиться двигаться как человек. И футбол с его динамическими изменениями, постоянными разворотами и ускорениями, отлично подошел для этого.

ИИ нужно воссоздавать все, что человек делает неосознанно. Когда мы играем в футбол, мы не думаем, как именно нам нужно поставить ногу, в какую конкретно точку мяча ударить, как обойти соперника, расположить свое тело в пространстве и т. д. — все это игрок-человек делает инстинктивно. ИИ работает не так — фактически, системе нужно принимать сотни решений в секунду, чтобы нормально играть в футбол, а не развалиться прямо посреди поля.

Сначала исследователи ставили перед ними простую цель — пробежаться или ударить по мячу. По задумке, агенты должны были учиться постепенно, как и в случае с преодолением препятствий, постоянно повторяя одно и то же задание и постепенно обучаясь азам футбола.

Однако здесь сразу же возникла проблема — агенты банально не понимали, что от них требуется, поскольку им не дали никаких вводных данных. Это было похоже на попытку научиться играть в футбол годовалого ребенка, который не понимает не только концепцию удара по мячу, но и ходит не совсем уверенно.

Поэтому ученые подошли к обучению с другой стороны. Они использовали нейронно-вероятностные двигательные примитивы (NPMP, neural probabilistic motor primitives). Если объяснить просто, то ИИ «наблюдал» за людьми, которые играли в футбол, постеенно перенимая базу — движения, свойства мяча, цель игры и так далее.

Левер объясняет, что движения агентов и так ограничены их человекоподобными телами и суставами, которые могут сгибаться только определенным образом; наблюдение за реальными людьми еще больше упростило задачу, ведь ИИ фактически перенимал футбольные движения, наблюдая за игрой людей. Однако при таком важно соблюдать баланс — с одной стороны движения агента должны быть похожи на человеческие; с другой, он не должен копировать людей во всех движениях, если есть более эффективный способ пробежать, забрать мяч у соперника или забить гол.

Так ученые организовали футбольный лагерь, постепенно обучая ИИ все более сложным футбольным движениям: бить мячом в определенную цель, следовать за целью, и делать то же самое, только с мячом в ногах.

Так агенты начинали бить все точнее, лучше контролировали мяч, а бег уже не вызывал столько проблем, как на первых порах. На видео можно заметить разительное отличие в поведении агентов в самом начале обучения (20 секунда) и через три дня тренировок (28 секунда). Через 50 дней обучения их движения стали намного более координированными — роботы намного точнее бьют по мячу, поскольку «научились понимать последствия своих действий».

Ученые отдельно отмечают, что агенты играли по упрощенным футбольным правилам: без фолов, аутов, свободных ударов, штрафных, пенальти, офсайдов и прочего.

И если поначалу игры больше напоминали беготню собаки в парке за мячом, то со временем они научились действовать в команде. Например, начали появляться ситуации, когда один из агентов бежит с мячом, а его партнер бежит параллельным курсом, ожидая паса. По словам ученых, они впервые увидели такую координацию со стороны ИИ.

Тем не менее, очевидно, что как движения, так и координация ИИ все еще далеки от идеала — даже натренированные агенты двигаются так, будто никаких соперников не существует.

Цель ученых — на примере футбола показать, что модели искусственного интеллекта способны обучаться «человеческим» движениям. Со временем, в идеале, мы не сможем отличить походку своего соседа от гуманоида от DeepMind. Новые подходы исследователей работают — и ученые надеются, что постепенный отбор лучших подходов к обучению ИИ позволит со временем откалибровать движения роботов.

Активная имплементация роботов в наше общество еще не началась. Но когда эта пора настанет, мало кому из людей захочется быть сбитым обезумевшим роботом, который во что бы то ни стало хочет добраться до злосчастного мяча. Поэтому впереди у ученых еще много работы.