Как украинский стартап показал Илону Маску deepfake

16 октября 2019, 20:00

На прошлой неделе сеть кинотеатров Multiplex добавила в свое мобильное приложение раздел «Киноселфи», где зрители могут стать героями любого фильма.

Технологию, с помощью которой пользователи могут увидеть, как бы они смотрелись на месте одного из героев популярных фильмов, разработала наша команда Neocortext. За неделю этой функцией воспользовались более 150 тыс. раз.

Видео дня

Что такое deepfakе и почему об этом столько говорят?

Популярность deepfakе начала расти несколько лет назад, когда появились первые вирусные ролики с реалистичной заменой лица. Дженнифер Лоуренс с лицом Стива Бушеми, лицо Николаса Кейджа во всех возможных фильмах и даже Барак Обама, предупреждающий об опасности фейковых видео.

Чтобы сделать подобное видео, необходимо несколько дней, тысячи фотографий и практические навыки работы с нейронными сетями. Но сейчас рынок меняется и deepfakе вскоре может стать частью масс-маркета с возможностью использования в развлекательной индустрии.

Успех ZAO и улучшенная технология deepfake

В сентябре резко взлетело китайское приложение ZAO, которое дает возможность создать deepfakе-видео, используя заготовленные отрывки из известных фильмов. За один день приложение стало Top Free App в китайском App Store, а по данным Sensor Tower за месяц его скачали более 6 млн. раз.

В ZAO используют подход, от которого мы в Neocortext отказались больше года назад: 3D-маски, реконструкцию лиц и «блендинг» текстур. Их решение может работать только со специально отобранными и предварительно обработанными видео, и может функционировать нестабильно при экстремальных поворотах и выражениях лица.

С помощью машинного обучения мы можем генерировать абсолютно новые изображения, без использования 3D-масок. За максимально реалистичный результат отвечает передовой метод обучения нейронных сетей — GAN, который сейчас также активно применяют в NVIDIA, FaceApp и Snapchat.

Такой подход дает пользователям возможность загрузить любое видео со своего телефона и в считанные секунды получить качественный перенос лица.

Сейчас мы работаем с развлекательной и гейм-индустрией по всему миру, где технология может использоваться для персонализации контента и усиления визуального сторителлинга.

В перспективе мы планируем создать рынок персонализации визуального контента при помощи deepfake, чтобы каждый мог увидеть себя героем любимой игры или же посмотреть сериал на Netflix с собой в главной роли.

Команда Neocortext (Фото: Neocortext)
Команда Neocortext / Фото: Neocortext

К примеру, такая технология позволит персонализировать промо-материалы в кино- и игровой индустрии (где, например, каждый может стать героем трейлера), создавать сериалы со зрителем в главной роли и внедрять их в видеоигры. Или же любого другого вовлечения аудитории — например, как с Multiplex.

От фото к видео: Reflect и REFACE

Первым нашим продуктом на рынке стал Reflect — веб-сервис и мобильное приложение для создания качественного deepfake на картинках всего в несколько кликов. Инструмент активно подхватило reddit-комьюнити. А одну из созданных при помощи сервиса картинок опубликовал у себя в твиттере Илон Маск.

Сейчас мы готовим мобильное приложение REFACE APP — инструмент для создания развлекательного deepfake-контента в режиме реального времени. Пока приложение в закрытом бета-тесте, но полноценный его запуск запланирован на ноябрь.

Присоединяйтесь к нам в соцсетях Facebook, Telegram и Instagram.

Показать ещё новости
Радіо НВ
X