Воскресити письменника. Нейромережа створила анімацію на основі портрета Достоєвського

24 травня 2019, 15:01

Російські розробники представили алгоритм на основі нейромережі, який вміє перетворювати статичні портрети в анімаційне зображення.

Роботу алгоритму показали на прикладі фотографії Федора Достоєвського, повідомляє N + 1.

Система знімає маску з обличчя людини на окремих кадрах з відео, після чого переносить їх на окремі зображення осіб, причому алгоритм може працювати навіть з одиночним зображенням, в тому числі з портретами.

Відео дня

Розробники з Samsung і Сколково під керівництвом Єгора Захарова створили алгоритм, який навчений на великій кількості кадрів, що містять обличчя людей. На кожне обличчя на такому кадрі накладена спеціальна маска, яка позначає межі і базову міміку. Те, як така маска співвідноситься з вихідним кадром, зберігається у вигляді вектора, дані з якого використовуються для того, щоб накласти окрему маску на зображення людини, після чого готове зображення порівнюється з ground truth.

Така модель в підсумку дозволила розробникам переносити інформацію між двома об'єктами за допомогою всього одного або декількох кадрів: для кінцевого продукту береться зображення-джерело і зображення-ціль, з якого формується маска, яка потім накладається на джерело, причому необхідно для цього всього кілька кадрів.

Цікаво, що таким чином можна не тільки змінити міміку людини на портреті, а й перетворити його на анімаційне зображення.

В результаті у розробників вийшов алгоритм, який може достовірно переносити інформацію між зображеннями, створюючи в результаті «балакучі голови»: при цьому для цього не потрібно використовувати велику кількість прикладів зображення-джерела і зображення-цілі. Крім Достоєвського, інженери використовували для демонстрації алгоритму картину Мона Ліза і фотографії Мерилін Монро і Ейнштейна.

Технологія відкриває перспективу переконливих «глибоких підробок», відео, які показують політиків і навіть людей, які загинули, говорячими речі, які вони ніколи не говорили, створені тільки з нерухомими зображеннями їхніх облич.

poster
Підписатись на щоденну email-розсилку
матеріалів розділу Техно
Розсилка про те як технології змінють світ
Щопонеділка

Приєднуйтесь до нас у соцмережах Facebook, Telegram та Instagram.

Показати ще новини
Радіо НВ
X