Воскресити письменника. Нейромережа створила анімацію на основі портрета Достоєвського
Російські розробники представили алгоритм на основі нейромережі, який вміє перетворювати статичні портрети в анімаційне зображення.
Роботу алгоритму показали на прикладі фотографії Федора Достоєвського, повідомляє N + 1.
Система знімає маску з обличчя людини на окремих кадрах з відео, після чого переносить їх на окремі зображення осіб, причому алгоритм може працювати навіть з одиночним зображенням, в тому числі з портретами.
Розробники з Samsung і Сколково під керівництвом Єгора Захарова створили алгоритм, який навчений на великій кількості кадрів, що містять обличчя людей. На кожне обличчя на такому кадрі накладена спеціальна маска, яка позначає межі і базову міміку. Те, як така маска співвідноситься з вихідним кадром, зберігається у вигляді вектора, дані з якого використовуються для того, щоб накласти окрему маску на зображення людини, після чого готове зображення порівнюється з ground truth.
Така модель в підсумку дозволила розробникам переносити інформацію між двома об'єктами за допомогою всього одного або декількох кадрів: для кінцевого продукту береться зображення-джерело і зображення-ціль, з якого формується маска, яка потім накладається на джерело, причому необхідно для цього всього кілька кадрів.
Цікаво, що таким чином можна не тільки змінити міміку людини на портреті, а й перетворити його на анімаційне зображення.
В результаті у розробників вийшов алгоритм, який може достовірно переносити інформацію між зображеннями, створюючи в результаті «балакучі голови»: при цьому для цього не потрібно використовувати велику кількість прикладів зображення-джерела і зображення-цілі. Крім Достоєвського, інженери використовували для демонстрації алгоритму картину Мона Ліза і фотографії Мерилін Монро і Ейнштейна.
Технологія відкриває перспективу переконливих «глибоких підробок», відео, які показують політиків і навіть людей, які загинули, говорячими речі, які вони ніколи не говорили, створені тільки з нерухомими зображеннями їхніх облич.
матеріалів розділу Техно
Приєднуйтесь до нас у соцмережах Facebook, Telegram та Instagram.
Ексклюзиви НВ
Сталося те, чого багато років чекали українські перевізники та експортери — Мінінфраструктури підписало угоду з ЄС про лібералізацію автомобільних перевезень. В народі її охрестили «транспортним безвізом».
