Воскресить писателя. Нейросеть создала анимацию на основе портрета Достоевского

24 мая 2019, 15:01

Российские разработчики представили алгоритм на основе нейросети, который умеет превращать статичные портреты в анимированное изображение.

Работу алгоритма показали на примере фотографии Федора Достоевского, сообщает N+1.

Система снимает маску с лица человека на отдельных кадрах из видео, после чего переносит их на отдельные изображения лиц, причем алгоритм может работать даже с одиночным изображением, в том числе с портретами.

Видео дня

Разработчики из Samsung и Сколково под руководством Егора Захарова создали алгоритм, который обучен на большом количестве кадров, содержащих лица людей. На каждое лицо на таком кадре наложена специальная маска, которая обозначает границы и базовую мимику. То, как такая маска соотносится с исходным кадром, хранится в виде вектора, данные из которого используются для того, чтобы наложить отдельную маску на изображение человека, после чего готовое изображение сравнивается с ground truth.

Такая модель в итоге позволила разработчикам переносить информацию между двумя объектами с помощью всего одного или нескольких кадров: для конечного продукта берется изображение-источник и изображение-цель, из которого формируется маска, которая затем накладывается на источник, причем необходимо для этого всего несколько кадров.

Интересно, что таким образом можно не только изменить мимику человека на портрете, но и превратить его в анимированное изображение.

В результате у разработчиков получился алгоритм, который может достоверно переносить информацию между изображениями, создавая в итоге «говорящие головы»: при этом для этого не нужно использовать большое количество примеров изображения-источника и изображения-цели. Кроме Достоевского, инженеры использовали для демонстрации алгоритма картину Мона Лиза и фотографии Мэрилин Монро и Эйнштейна.

Технология открывает перспективу убедительных «глубоких подделок», видео, которые показывают политиков и даже людей, которые погибли, говоря вещи, которые они никогда не говорили, созданные только с неподвижными изображениями их лиц.

poster
Подписаться на ежедневную email-рассылку
материалов раздела Техно
Рассылка о том как технологии изменяют мир
Каждый понедельник

Присоединяйтесь к нам в соцсетях Facebook, Telegram и Instagram.

Показать ещё новости
Радіо НВ
X