Як український стартап показав Ілону Маску deepfake

16 жовтня 2019, 20:00

Минулого тижня мережа кінотеатрів Multiplex додала у свій мобільний додаток розділ «Кіноселфі», де глядачі можуть стати героями будь-якого фільму.

Технологію, за допомогою якої користувачі можуть побачити, як би вони виглядали на місці одного з героїв популярних фільмів, розробила наша команда Neocortext. За тиждень цією функцією скористалися понад 150 тис. Разів.

Відео дня

Що таке deepfakе і чому про це стільки говорять?

Популярність deepfakе почала зростати кілька років тому, коли з’явилися перші вірусні ролики з реалістичною заміною обличчя. Дженніфер Лоуренс з обличчям Стіва Бушемі, обличчя Ніколаса Кейджа у всіх можливих фільмах і навіть Барак Обама, який попереджає про небезпеку фейкових відео.

Щоб зробити подібне відео, необхідно кілька днів, тисячі фотографій і практичні навички роботи з нейронними мережами. Але зараз ринок змінюється і deepfakе незабаром може стати частиною мас-маркету з можливістю використання у розважальній індустрії.

Успіх ZAO і поліпшена технологія deepfake

У вересні різко злетів китайський додаток ZAO, який дає можливість створити deepfakе-відео, використовуючи заготовлені уривки з відомих фільмів. За один день додаток став Top Free App в китайському App Store, а за даними Sensor Tower за місяць його скачали більше 6 млн. разів.

У ZAO використовують підхід, від якого ми в Neocortext відмовилися більше року тому: 3D-маски, реконструкцію обличчя і «блендінг» текстур. Їх рішення може працювати тільки зі спеціально відібраними і попередньо обробленими відео, і може функціонувати нестабільно при екстремальних поворотах і виразах обличчя.

Замість 3D-масок, генерувати абсолютно нове зображення нам дозволяє машинне навчання. За максимально реалістичний результат відповідає передовій метод навчання нейронних мереж — GAN, який зараз також активно застосовують в NVIDIA, FaceApp і Snapchat.

Такий підхід дає користувачам можливість завантажити будь-яке відео зі свого телефону і в лічені секунди отримати якісний перенесення особи.

Зараз ми працюємо з розважальною і гейм-індустрією по всьому світу, де технологія може використовуватися для персоналізації контенту і посилення візуального сторітеллінга.

У перспективі ми плануємо створити ринок персоналізації візуального контенту за допомогою deepfake, щоб кожен міг побачити себе героєм улюбленої гри або ж подивитися серіал на Netflix з собою в головній ролі.

Команда Neocortext (Фото: Neocortext)
Команда Neocortext / Фото: Neocortext

Наприклад, така технологія дозволить персоналізувати промо-матеріали в кіно- і ігровій індустрії (де, наприклад, кожен може стати героєм трейлера), створювати серіали з глядачем в головній ролі і впроваджувати їх у відеоігри. Або ж будь-якого іншого залучення аудиторії - наприклад, як з Multiplex.

Від фото до відео: Reflect і REFACE

Першим нашим продуктом на ринку став Reflect — веб-сервіс і мобільний додаток для створення якісного deepfake на картинках всього за кілька кліків. Інструмент активно підхопило reddit-ком'юніті. А одну з створених за допомогою сервісу картинок опублікував у себе в твіттері Ілон Маск.

Зараз ми готуємо мобільний додаток REFACE APP — інструмент для створення розважального deepfake-контенту в режимі реального часу. Поки додаток в закритому бета-тесті, але повноцінний його запуск запланований на листопад.

poster
Підписатись на щоденну email-розсилку
матеріалів розділу Техно
Розсилка про те як технології змінють світ
Щопонеділка

Приєднуйтесь до нас у соцмережах Facebook, Telegram та Instagram.

Показати ще новини
Радіо НВ
X