Індійський стартап Ziroh Labs створив платформу Kompact AI, яка дає змогу запускати нейромережі на звичайних центральних процесорах, без використання графічних прискорювачів. Це рішення особливо актуальне для країн з обмеженим доступом до GPU.
Розробка орієнтована на стадію виведення — роботу ШІ після завершення навчання. Kompact AI успішно запускає моделі на кшталт Llama 2 від Meta і Qwen2.5 від Alibaba на ноутбуках із процесорами Intel Xeon. Стартап співпрацює з Індійським технологічним інститутом у Мадрасі.
Підхід уже протестували Intel і AMD. Kompact AI дає змогу ШІ-моделям працювати навіть в умовах обмеженої інфраструктури. За словами радника Вільяма Радучела, технологія може мати помітний вплив на глобальний ринок.
Директор інституту Ві Камакоті наголосив, що дефіцит GPU гальмує розвиток ШІ в таких країнах, як Індія. Новий підхід, за його словами, показує, що "вам не потрібен револьвер, щоб убити комара" — тобто потужний GPU необов'язковий для запуску сучасних моделей.
На тлі дефіциту відеокарт і мільярдних інвестицій у ШІ-інфраструктуру Kompact AI пропонує альтернативний шлях. Тим часом Nvidia представила нове покоління чипів Blackwell Ultra і супутніх рішень для навчання ШІ та робототехніки.
