Google презентувала відразу дві нейромережі, орієнтовані на генерацію відео за заданим текстовим описом. Найбільш перспективно на сьогоднішній день виглядає Imagen Video – модифікована версія системи Imagen, яка представлена близько півроку тому.
На даний момент Google Imagen Video вміє створювати короткі відео з роздільною здатністю 1280х768 пікселів та частотою 24 кадри на секунду. Результати все ще далекі до ідеалу, але все одно вражають, адже зовсім недавно нейромережі вміли створювати лише двомірні картинки, а тепер йдеться про повноцінні ролики.
Зазначається, що Imagen Video від Google дозволяє використовувати кілька стилів у дусі відомих художників, наприклад Ван Гога. При цьому самі відео виходять тривимірними, що дозволяє подивитися на сцену під будь-яким кутом, як показано в наведеному прикладі з плюшевим ведмедем, що миє посуд.
Згідно з наявною інформацією, Imagen Video є комбінацією з семи дифузійних моделей. На першому етапі вони перетворюють вихідну текстову підказку у відео з низькою роздільною здатністю 24х24 пікселя при частоті 3 кадри в секунду та загальною тривалістю 16 кадрів. Після цього відбувається поступове масштабування до вищої роздільної здатності та з вищою частотою кадрів. На виході виходить ролик тривалістю 5,3 секунд.
Друга нейромережа під назвою Phenaki поки що дозволяє отримувати ролики значно меншого дозволу та найгіршої якості. Але її перевага полягає у можливості задавати більш довгі та подібні текстові описи, на основі яких створюються міні-фільми з великою кількістю сцен та подій.
