Вчені з Мічиганського університету знайшли спосіб значно скоротити енерговитрати на навчання великих мовних моделей, подібних до GPT. Новий програмний інструмент, названий Perseus, дає змогу оптимізувати процес навчання і знизити споживання енергії на цілих 30%.
Навчання штучного інтелекту — це енергоємний процес, який вимагає величезних обчислювальних ресурсів. Сучасні моделі ШІ настільки великі, що їхнє навчання розподіляється між тисячами процесорів. Однак цей процес не завжди відбувається ефективно, і частина енергії витрачається даремно.
Дослідники виявили, що причина втрат енергії полягає в нерівномірному розподілі навантаження між процесорами. Деякі процесори завершують свою роботу раніше за інших, що призводить до невиправданої витрати електроенергії. Perseus розв’язує цю проблему, сповільнюючи роботу швидших процесорів, синхронізуючи їх із повільнішими та оптимізуючи в такий спосіб увесь процес навчання.
Скорочення енергоспоживання під час навчання ШІ має низку важливих переваг. По-перше, це дасть змогу знизити негативний вплив на навколишнє середовище, оскільки центри обробки даних, що використовуються для навчання ШІ, є значними джерелами викидів вуглекислого газу. По-друге, це зробить технологію штучного інтелекту доступнішою для всіх, оскільки знизить її вартість.
За словамивчених, їхня розробка може стати важливим кроком на шляху до створення більш стійкого і доступного штучного інтелекту. Perseus — це інструмент із відкритим вихідним кодом, що означає, що будь-який розробник може використовувати його для оптимізації своїх моделей.
