Вчені Вашингтонського університету створили алгоритм [1], що дозволяє вставляти сторонню мову в відеоряд, практично точно відтворюючи артикуляцію та міміку. Матеріалом для створення алгоритму послужили 17 годин записів відеозвернень Президента США Барака Обами.
[2]
Технологія конвертації аудіозаписів людського голосу в відео має величезне практичне застосування: від поліпшення відеоконференцій, звук в яких дуже часто відстає від відео, до використання у віртуальній реальності і кіновиробництві.
Робота нового алгоритму ґрунтується на рекурентних нейромережах. З аудіозаписів спершу витягуються окремо взяті фонеми, з яких відтворюється артикуляційна міміка. На основі цього створюється реалістична форма губ, яка потім накладається на потрібне відео, а сам відеоряд налаштовують так, щоб рухи голови людини виглядали природно.
[3]
В результаті дослідники поєднали відеоряд звернень Барака Обами до американців з аудіо з інших відео, в яких він говорить про батьківство в ефірі телешоу або про своє обрання редактором юридичного журналу в 1990-му році.
[1] http://grail.cs.washington.edu/projects/AudioToObama/siggraph17_obama.pdf
[2] http://watcher.com.ua/wp-content/uploads/obama-1.png
[3] http://watcher.com.ua/wp-content/uploads/obama3.png
