Навчання великих мовних моделей (LLM) залишається надзвичайно дорогим процесом, і справа не лише у наявності потужних графічних процесорів (GPU), а й у ефективності їх використання. Група дослідників з Массачусетського технологічного інституту (MIT) у співпраці з Nvidia розробила метод, який дозволяє утилізувати невикористані обчислювальні потужності під час тренування, скорочуючи загальний час процесу майже вдвічі. Про це пише видання Gizmochina.
Проблема неефективності GPUОсновна проблема, яку вирішували вчені, стосується навчання з підкріпленням (Reinforcement Learning, RL), а саме етапу «rollout». На цій стадії модель генерує кілька варіантів відповідей, щоб навчитися визначати, яка поведінка веде до кращого результату. Цей процес є критично важливим для моделей, орієнтованих на логічні міркування, але він займає багато часу — до 85% від загального циклу виконання.
Головною причиною затримок є так званий «розподіл довгого хвоста» (long-tail distribution) довжини відповідей. Більшість згенерованих відповідей завершуються швидко, але невелика кількість потребує значно більше часу.
Оскільки графічні процесори повинні синхронізуватися, швидші обчислювальні блоки просто простоюють в очікуванні завершення найдовших операцій.
Технологія Taming the Long Tail (TLT)Рішення команди MIT отримало назву Taming the Long Tail (TLT). Замість того, щоб залишати GPU в режимі очікування під час тривалих генерацій, система використовує цей час для навчання легкої «чорнової» моделі (draft model). Ця менша модель навчається безперервно від основної моделі прямо в процесі роботи.
Ідея базується на методі спекулятивного декодування, де менша модель передбачає токени наперед, дозволяючи перевіряти їх паралельно. Однак традиційне спекулятивне декодування покладається на фіксовану чорнову модель, яка швидко застаріває, оскільки основна модель еволюціонує під час навчання. TLT змінює цей підхід: перенавчаючи допоміжну модель за допомогою вільних ресурсів, система тримає її узгодженою з основною без залучення додаткового обладнання.
Результати та перспективиЕксперименти з кількома LLM та реальними наборами даних продемонстрували значну ефективність нового підходу:
- Прискорення наскрізного навчання становило від 70% до 210% порівняно з базовими показниками.
- Точність моделей залишилася незмінною.
- Постійно оновлювана «чорнова» модель може використовуватися як ефективний інструмент для інференсу (виведення) у майбутньому.
Читайте також:
Запис Дослідники знайшли спосіб прискорити навчання ШІ-моделей вдвічі без додаткових витрат спершу з'явиться на ProstoMob.