Google оголосила про відкриття коду проєкту TorchTPU, який дає розробникам змогу запускати застосунки на базі PyTorch на її чипах Tensor Processing Units (TPU). Для перенесення на TPU та хмарну платформу Google Cloud достатньо змінити конфігурацію, без переписування застосунку, повідомляє TechCrunch.
Альтернатива графічним процесорам NvidiaPyTorch — популярний відкритий інструментарій для створення, навчання та запуску моделей штучного інтелекту. За деякими оцінками, його використовують у 85% ШІ-застосунків. Розробку PyTorch у 2016 році започаткувала Meta, а у 2022 році передала проєкт Linux Foundation.
Багато функцій PyTorch спочатку створювали з розрахунком на графічні процесори Nvidia, які вже тоді були стандартним обладнанням для досліджень у сфері штучного інтелекту. TorchTPU має спростити використання альтернативних чипів Google для програм, що раніше орієнтувалися на GPU Nvidia.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Amazon також випустила власний інструментДнем раніше Amazon представила TorchNeuron — інструмент для перенесення застосунків PyTorch на власні ШІ-чипи Trainium та у хмару AWS без переписування коду. Компанія також заявила, що передасть до основного проєкту PyTorch код, який відокремлює окремі функції від чипів Nvidia та робить їх доступнішими для різного обладнання.
Google повідомила про співпрацю з Meta, Hugging Face, Inferact — розробником vLLM, RadixArk — розробником SGLang, та іншими учасниками ринку, щоб забезпечити сумісність TorchTPU з популярними інструментами розробки. Компанія також запустила TPU agent suite для перенесення застосунків і виправлення помилок, а інструмент LiteRT адаптувала для кращої роботи із ШІ-застосунками PyTorch на телефонах, ноутбуках та вбудованих пристроях.
