Компанія NVIDIA представила свій новий топовий чип для завдань штучного інтелекту - H200, який призначений замінити попередника H100. Новий чип зберігає зовнішній вигляд H100, але отримав важливе оновлення в пам'яті - використовує більш швидкий і місткий тип пам'яті HBM3e.
Одним з ключових покращень ставший пам'яті є збільшення пропускної здатності до 4,8 Тбайт/с, порівняно з 3,35 Тбайт/с у H100. Загальний обсяг пам'яті також збільшився з 80 до 141 Гбайт. За заявою NVIDIA, новий чип демонструє майже дворазове зростання продуктивності в задачах генеративного штучного інтелекту в порівнянні з H100. Ця оцінка ґрунтується на тестуванні мовних моделей, таких як GPT-3 і Llama 2.
NVIDIA H200 повністю сумісний з існуючими системами, які підтримують H100. Хмарні підрозділи Amazon, Google, Microsoft і Oracle будуть одними з перших, хто запропонує нові чипи своїм клієнтам. Перші поставки H200 очікуються в другому кварталі 2024 року. Щодо ціни, вона на даний момент невідома, але за інформацією ЗМІ, H100 продається від $25 000 до $40 000.
Анонс нового чипу стався в умовах загостреного дефіциту чипів NVIDIA для штучного інтелекту. Компанія також планує нарощувати виробництво моделі H100 у наступному році, оскільки вона залишається високо запитуваною серед розробників штучного інтелекту.
