Компанія DeepSeek опублікувала результати дослідження, в якому запропонувала новий підхід до тренування великих мовних моделей. Метод отримав назву manifold-constrained hyperconnection (mHC). Його головною метою є підвищення стабільності процесу навчання та зменшення ризиків технічних збоїв. Цю інформацію підтверджує Gizmochina.
Підвищення надійності системиНавчання сучасних моделей штучного інтелекту пов’язане зі значними витратами ресурсів. Поширеною проблемою є нестабільність, яка призводить до переривання процесу тренування. У таких випадках розробники змушені перезапускати цикли навчання, що спричиняє втрату тисяч годин роботи графічних процесорів (GPU) та великих обсягів електроенергії. Архітектура mHC спрямована на забезпечення передбачуваної поведінки моделі, що дозволяє уникати критичних помилок навіть при збільшенні її масштабу.
Оптимізація ресурсівТехнологія mHC не впливає на миттєве енергоспоживання окремих графічних процесорів, проте дозволяє скоротити загальні витрати енергії завдяки усуненню необхідності повторних запусків. Стабільніший процес навчання зменшує залежність від екстенсивних методів, таких як залучення додаткових обчислювальних потужностей або збільшення часу тренування. Впровадження подібних методів дозволяє ефективніше використовувати наявне обладнання в умовах зростання вимог до інфраструктури штучного інтелекту.
Читайте також:
- Китай розробляє власне літографічне обладнання за участю екс-інженерів ASML для обходу санкцій
- Як налаштувати локальний штучний інтелект в браузері на смартфоні
- Xiaomi представила кнопковий Android-телефон з штучним інтелектом DeepSeek
