OpenAI представила власний чип Jalapeño для роботи з ШІ-моделями. За даними компанії, він виконує до 1,9 раза більше роботи на один ват енергії та знижує затримку до 3,6 раза.
Про це пише видання Interesting Engineering.
Компанія протестувала Jalapeño на трьох відкритих моделях — GPT-OSS 120B, DeepSeek R1 670B і Kimi K2.5 1T. У пікових режимах чип показав у 1,5−1,9 раза вищу ефективність за потужністю, ніж системи-прискорювачі, з якими його порівнювали.
Затримка від початку обробки запиту до отримання результату була у 1,7−3,6 раза нижчою. Для інтерактивних завдань OpenAI зафіксувала приріст продуктивності у 2,1−4,1 раза.
Jalapeño розрахований на потужність до 700 Вт, однак під час тестів його стабільне споживання не перевищувало 550 Вт. Для порівняння OpenAI використала комерційні системи-прискорювачі та відкритий тест InferenceX від SemiAnalysis.
Чип розробили так, щоб одночасно ефективно виконувати дві основні частини роботи під час запуску ШІ-моделі. Спочатку система обробляє запит користувача, а потім генерує відповідь частинами. Перша операція більше залежить від обчислювальної потужності,
друга — від швидкості роботи з пам’яттю.
Jalapeño зберігає дані про поточний стан моделі, зокрема кеш, необхідний для генерації відповіді, ближче до обчислювальних ресурсів. Компанія також інтегрувала мережеву систему безпосередньо в архітектуру чипа, щоб зменшити обсяг даних, який потрібно передавати між різними чипами.
Це особливо важливо для ШІ-агентів, які можуть виконувати багато послідовних запитів до моделі. Навіть невелика затримка на кожному етапі здатна збільшити загальний час виконання завдання.
Під час розробки Jalapeño OpenAI також використовувала власні ШІ-моделі. За словами компанії, вони допомагали інженерам шукати варіанти реалізації, скорочувати час проєктування та перевірки, а також оптимізувати арифметичні схеми.
Від початку розробки до підготовки конструкції чипа до виробництва минуло дев’ять місяців. Після цього OpenAI за допомогою Codex і GPT-Astra оптимізувала роботу трьох відкритих моделей, які спочатку не планували використовувати на Jalapeño. На це, за даними компанії, знадобилося ще два місяці.
Для окремих блоків GPT-OSS, які відповідають за механізм уваги та суміш експертів,
реалізації, створені за допомогою ШІ, працювали у 1,5−1,8 раза швидше за попередні варіанти, розроблені людьми. OpenAI уточнила, що ці показники стосуються окремих компонентів, а не моделей загалом.
На Kimi K2.5 1T Jalapeño показав приблизно у 1,5 раза вищу пікову продуктивність на ват і в 3,4 раза меншу затримку порівняно із системою, яку використовували для тестування.
OpenAI планує почати встановлювати Jalapeño у власну обчислювальну інфраструктуру до кінця 2026 року. Компанія називає цей чип першим поколінням довгострокової лінійки та повідомляє, що вже розробляє друге і третє покоління.
Читайте також:
