Команда AI Lab компанії Xiaomi відкрила вихідний код нової моделі синтезу мовлення (TTS) під назвою OmniVoice. Система розроблена для високоякісного генерування голосу сотнями мов, а також підтримує клонування голосу та гнучке налаштування аудіо. Таку інформацію оприлюднив портал Gizmochina.
Підтримка сотень мов та робота з обмеженими данимиОднією з головних особливостей OmniVoice є підтримка мов з низьким рівнем ресурсів. Модель здатна генерувати мовлення майже будь-якою мовою, включаючи ті, для яких існує дуже мало навчальних даних. Навіть для мов із менш ніж 10 годинами навчального матеріалу система здатна забезпечити високу якість синтезу.
Під час багатомовного тестування система продемонструвала результати, що перевершують кілька комерційних рішень у 24 мовах за показниками схожості та розбірливості мовлення. У випробуваннях, що охоплювали 102 мови, розбірливість згенерованого аудіо наблизилася до показників реального людського голосу, а в окремих випадках навіть перевершила їх.
Спрощена архітектура та продуктивністьНа відміну від більшості сучасних систем,
які покладаються на складні гібридні структури та багаторівневі модулі, OmniVoice використовує єдину двоспрямовану мережу Transformer для прямого перетворення тексту на мовлення. Для підвищення ефективності розробники застосували стратегію випадкового маскування та вперше інтегрували велику мовну модель (LLM) у неавторегресивну модель TTS під час попереднього навчання.
Така архітектура суттєво підвищує швидкість роботи. Навчання моделі на базі 100 000 годин аудіоданих займає лише один день. Під час генерації (inference) за допомогою PyTorch модель працює зі швидкістю, що у 40 разів перевищує реальний час, що спрощує її впровадження у споживчі застосунки.
Практичні можливості системиОкрім базового генерування мовлення, OmniVoice має розширений набір функцій:
- Створення голосів за описом: генерація голосу на основі текстового опису характеристик (вік, стать, тональність, акцент або стиль, наприклад, шепіт) без потреби в еталонному аудіо.
- Стійкість до шумів: автоматичне видалення фонового шуму з референсних записів та виділення характеристик голосу для якісного клонування з недосконалих вихідників.
- Експресивне мовлення: підтримка контролю інтонацій, додавання ефектів сміху або зітхання для створення більш розмовного звучання.
- Корекція вимови: інструменти для ручного налаштування вимови складних слів, власних назв та специфічних символів.
- Представлено стабілізатор DJI Osmo Mobile 8P зі знімним екраном-пультом та ActiveTrack 8.0
- Представлено смартфони iQOO Z11 та Z11x: рекордні акумулятори до 9020 мАг
- Головні флагманські смартфони 2026 року: які пристрої задають тренди на ринку
