Технологія на основі ШІ забезпечує правдоподібну анімацію обличчя та синхронізацію губ у реальному часі
Компанія NVIDIA оголосила про відкриття вихідного коду своєї технології Audio2Face, що дозволяє створювати реалістичні цифрові аватари для ігор, віртуальних сервісів та 3D-додатків.
Про це повідомляє компанія.
Audio2Face працює на базі великих мовних і мовленнєвих моделей, перетворюючи аудіосигнал на анімацію обличчя та синхронізацію губ у реальному часі. Система аналізує мовні особливості – такі як фонеми та інтонація – і трансформує їх у набір даних, які відповідають міміці персонажа. Це дає змогу створювати як заздалегідь прописаний контент, так і динамічних ШІ-персонажів із правдоподібними емоційними реакціями.
Разом із моделями компанія відкрила й SDK, що дозволяє розробникам інтегрувати технологію у власні продукти, а також фреймворк для навчання, який дає змогу налаштовувати вже наявні моделі під конкретні сценарії використання. Таким чином, NVIDIA робить крок до масового впровадження генеративних аватарів, які зможуть взаємодіяти з користувачами природним чином у різних сферах – від геймінгу до клієнтського сервісу.
Бекграунд. Раніше Mind повідомляв, що Nvidia оголосила, що вкладе в розробника ChatGPT $100 млрд інвестицій. Перші інвестиції у розмірі $10 млрд надійдуть після угоди про покупку обладнання.
