Google анонсувала запуск своєї нової великої мовної моделі Gemini. Для навчання та запуску Gemini Google використала свої нові чипи TPU v5p. Про це повідомляє TechCrunch.Кластер на базі нових TPU складається з 8960 чипів v5p і оснащений найшвидшим інтерконнектом Google - швидкість передачі може досягати 4800 Гбіт/с на одному чипі.Cloud TPU v5p оснащений 95 ГБ пам’яті HBM3 з пропускною здатністю 2765 Гбайт/с. За словами Google, нові прискорювачі TPU v5p здатні навчати великі мовні моделі, наприклад GPT-3 зі 175 млрд параметрів, у 2,8 рази швидше, ніж TPU v4, і при цьому з меншими витратами енергії.Google DeepMind та Google Research вже використовують нові чипи TPU v5p для своїх досліджень та інженерних робіт на передових моделях, таких як Gemini.
Читайте ще
7 грд
