Компания Microsoft представила новуюмодель искусственного интеллекта (ИИ) под названием VASA-1. Она способна генерировать гиперреалистичные видео с говорящими людьми. Отныне, прочесть рэп смогла даже Мона Лиза.
Каксообщает Android, используя только одно фото и аудиофайл с записью речи, модель может создать видео, где губы человека на экране двигаются синхронно со звуком, а мимика и движения головы придают реалистичности.
Важно отметить, что технологический гигант не планирует выпускать VASA-1 в качестве продукта или API. Вместо этого его применение будет сосредоточено на создании реалистичных виртуальных персонажей.
Что может VASA-1?Это модель искусственного интеллекта, которая может генерировать видео продолжительностью до минуты, используя только одну фотографию и аудиофайл. ИИ может адаптировать движения губ и выражение лица к звуку, чтобы все выглядело естественно. Представленные образцы файлов показывают, что он может делать это поразительно эффективно, особенно с точки зрения синхронизации звука и изображения и адекватности эмоций, выражающих представленные персонажи. Исследователи Microsoft описали это как "широкий диапазон эмоций и выразительных нюансов лица и естественных движений головы".
Microsoft на своем сайте подробно описала работу разработанной модели и осветила ее возможности. Компания утверждает, что VASA-1 может производить видео 512 x 512 пикселей со скоростью до 40 кадров в секунду с минимальной задержкой запуска. Вот как модель AI работает на практике:
