Технологію, за допомогою якої користувачі можуть побачити, як би вони виглядали на місці одного з героїв популярних фільмів, розробила наша команда Neocortext. За тиждень цією функцією скористалися понад 150 тис. Разів. Що таке deepfakе і чому про це стільки говорять? Популярність deepfakе почала зростати кілька років тому, коли з’явилися перші вірусні ролики з реалістичною заміною обличчя. Дженніфер Лоуренс з обличчям Стіва Бушемі, обличчя Ніколаса Кейджа у всіх можливих фільмах і навіть Барак Обама, який попереджає про небезпеку фейкових відео. Щоб зробити подібне відео, необхідно кілька днів, тисячі фотографій і практичні навички роботи з нейронними мережами. Але зараз ринок змінюється і deepfakе незабаром може стати частиною мас-маркету з можливістю використання у розважальній індустрії. Успіх ZAO і поліпшена технологія deepfake У вересні різко злетів китайський додаток ZAO, який дає можливість створити deepfakе-відео, використовуючи заготовлені уривки з відомих фільмів. За один день додаток став Top Free App в китайському App Store, а за даними Sensor Tower за місяць його скачали більше 6 млн.
разів. У ZAO використовують підхід, від якого ми в Neocortext відмовилися більше року тому: 3D-маски, реконструкцію обличчя і «блендінг» текстур. Їх рішення може працювати тільки зі спеціально відібраними і попередньо обробленими відео, і може функціонувати нестабільно при екстремальних поворотах і виразах обличчя. Замість цього, ми використовуємо 3D-маски, а машинне навчання дозволяє генерувати абсолютно нове зображення. За максимально реалістичний результат відповідає передовій метод навчання нейронних мереж — GAN, який зараз також активно застосовують в NVIDIA, FaceApp і Snapchat. Такий підхід дає користувачам можливість завантажити будь-яке відео зі свого телефону і в лічені секунди отримати якісний перенесення особи. Зараз ми працюємо з розважальною і гейм-індустрією по всьому світу, де технологія може використовуватися для персоналізації контенту і посилення візуального сторітеллінга. У перспективі ми плануємо створити ринок персоналізації візуального контенту за допомогою deepfake, щоб кожен міг побачити себе героєм улюбленої гри або ж подивитися серіал Netflix з собою в головній ролі.
Наприклад, така технологія дозволить персоналізувати промо-матеріали в кіно- і ігрової індустрії (де, наприклад, кожен може стати героєм трейлера), створення серіалів з глядачем в головній ролі і впровадження у відеоігри. Або ж будь-якого іншого залучення аудиторії - наприклад, як з Multiplex. Від фото до відео: Reflect і REFACE Першим нашим продуктом на ринку став Reflect — веб-сервіс і мобільний додаток для створення якісного deepfake на картинках всього за кілька кліків. Інструмент активно підхопило reddit-ком'юніті. А одну з створених за допомогою сервісу картинок опублікував у себе в твіттері Ілон Маск. Зараз ми готуємо мобільний додаток REFACE APP — інструмент для створення розважального deepfake-контенту в режимі реального часу. Поки додаток в закритому бета-тесті, але повноцінний його запуск запланований на листопад.
