Компанія Microsoft представила нову модель штучного інтелекту (ШІ) під назвою VASA-1. Вона здатна генерувати гіперреалістичні відео з людьми, що говорять. Відтепер, прочитати реп змогла навіть Мона Ліза.
Як повідомляєAndroid, використовуючи лише одне фото та аудіофайл із записом мови, модель може створити відео, де губи людини на екрані рухаються синхронно зі звуком, а міміка та рухи голови надають реалістичності.
Важливо зазначити, що технологічний гігант не планує випускати VASA-1 як продукт чи API. Замість цього, його застосування буде зосереджено на створенні реалістичних віртуальних персонажів.
Що може VASA-1?Це модель штучного інтелекту, яка має можливість генерувати відео тривалістю до хвилини, використовуючи лише одну фотографію та аудіофайл. ШІ може адаптувати рухи губ і вираз обличчя до звуку, щоб все виглядало природно. Надані зразки файлів показують, що він може робити це вражаюче ефективно, особливо з точки зору синхронізації звуку та зображення та адекватності емоцій, які виражають представлені персонажі. Дослідники Microsoft описали це як "широкий діапазон емоцій і виразних нюансів обличчя та природних рухів голови".
Microsoft на своєму сайті детально описала роботу розробленої моделі та висвітлила її можливості. Компанія стверджує, що VASA-1 може створювати відео 512 x 512 пікселів зі швидкістю до 40 кадрів на секунду з мінімальною затримкою запуску. Ось як модель AI працює на практиці:
