Університет Джонса Гопкінса представив інноваційний підхід до оптимізації багатомовних мовних моделей (MLM), який дозволяє значно зменшити їхній обсяг без втрати продуктивності. MLM забезпечують здатність генерувати та аналізувати тексти у різних мовах, але зі збільшенням кількості мов вони втрачають ефективність через "мовну інтерференцію".
У відміну від традиційних методів, коли для кожної мови створюється окрема нейромережа, вчені використовують матриці з низьким рангом. Цей підхід дозволяє стиснути дані та зменшити кількість параметрів, необхідних для додавання нових мов у модель.
Як пояснює один із авторів, Хаоран Сюй (Haoran Xu), це аналогічно обмеженій палітрі кольорів для художника. Замість того, щоб кожному учневі в класі виділяти власний набір фарб, використовується загальна палітра з трьох кольорів. Це значно зменшує потребу в параметрах при масштабуванні моделі.
Дослідники протестували свій метод на 95 мовах, показавши відмінні результати за використання значно меншої кількості параметрів. Це відкриває перспективи для створення компактних і ефективних MLM, зауважують вчені.
За їхніми словами, з часом з'являться мобільні додатки з штучним інтелектом, здатні працювати на сотнях мов однаково ефективно. Остаточна мета полягає в застосуванні нового методу для стиснення великих MLM без втрати їхньої продуктивності.
