Новий витік розкрив деталі моделі GPT-4

В мережі з’явилися нові технічні деталі мультимодальної моделі GPT-4, яку OpenAI представила в березні 2023 року.Модель містить приблизно 1,8 трлн параметрів у 120 шарах, що в 10 разів більше, ніж у GPT-3. Вона використовує підхід Mixture of Experts (MoE), який складається з 16 так званих «експертів». Кожен з них має близько 111 млрд параметрів. MoE дозволяє більш ефективно використовувати ресурси під час видачі результатів, потребуючи близько 280 млрд параметрів та 560 TFLOP обчислювальних потужностей. Для порівняння, щільна модель потребувала б 1,8 трлн параметрів та 3700 TFLOP.Хоча більша кількість MoE могла б покращити продуктивність GPT-4, OpenAI вирішила використовувати 16 моделей-«експертів» через проблеми узагальнення та збіжності.Модель також включає окремий кодер комп'ютерного бачення для мультимодальних завдань, таких як читання вебсторінок, транскрибування зображень та відео.Модель навчалась на приблизно 13 трлн токенів з різних джерел, включаючи інтернет-дані, книги та наукові статті. Щоб зменшити витрати на тренування, OpenAI використала тензорний та конвеєрний паралелізм, а також великий розмір партії — 60 млн токенів. Орієнтовна вартість навчання GPT-4 становить близько $63 млн. Вартість видачі GPT-4 втричі вища, ніж у її попередниці.OpenAI може використовувати спекулятивне декодування, яке передбачає використання меншої моделі для прогнозування токенів заздалегідь і додавання їх до більшої моделі в одній партії. Такий підхід допомагає оптимізувати витрати на видачу відповіді та підтримувати максимальний рівень затримки.Раніше SPEKA писала, що OpenAI зробила API для GPT-4 загальнодоступними.