Американський стартап Tiiny AI розробив пристрій AI Pocket Lab, який позиціонується як кишеньковий суперкомп’ютер. Головне завдання новинки — локальний запуск великих мовних моделей (LLM), які зазвичай потребують потужних масивів графічних процесорів або підключення до хмарних центрів обробки даних. Про це пише видання SlashGear.
За розмірами пристрій нагадує смартфон: габарити становлять приблизно 14,2 х 8 х 2,5 см при вазі близько 300 грамів. Попри компактність, обчислювальні можливості гаджета виходять за межі традиційної споживчої електроніки, оскільки він здатний працювати з ШІ-моделями академічного рівня без підключення до інтернету.
Технічні характеристики та продуктивністьАпаратна архітектура AI Pocket Lab зосереджена на великому обсязі пам’яті, що є критично важливим для роботи штучного інтелекту. Це дозволяє пристрою локально запускати мовні моделі з понад 120 мільярдами параметрів. Для порівняння: типовий офлайн-чатбот для сучасного смартфона (наприклад, Llama 3.1) обмежується моделями на 8 мільярдів параметрів.
Основні специфікації AI Pocket Lab включають:
- 12-ядерний процесор ARM;
- 80 ГБ оперативної пам’яті LPDDR5X (з яких 48 ГБ виділено виключно для нейронного співпроцесора — NPU);
- Загальна продуктивність системи — до 190 TOPS;
- Швидкість генерації — від 18 до 40 токенів за секунду;
- Твердотільний накопичувач PCIe 4.0 ємністю 1 ТБ;
- Модулі Wi-Fi та Bluetooth, три порти USB-C та інтегрований мікрофон.
Безпека даних та енергоефективністьКлючова перевага локальної обробки ШІ — повна конфіденційність. Пристрій дозволяє користувачам працювати зі складними запитами без передачі персональної інформації на сторонні хмарні сервери. Крім того, AI Pocket Lab забезпечує доступ до нейромереж у середовищах із відсутнім зв’язком.
Реліз цього гаджета підтверджує загальногалузевий тренд на розвиток периферійних обчислень (edge computing), де дані обробляються безпосередньо у місці їх створення. На відміну від енергозатратних дата-центрів, AI Pocket Lab постачається з блоком живлення на 65 Вт і має показник TDP 30 Вт, що відповідає рівню енергоспоживання звичайного офісного ноутбука.
Читайте також:
Запис Стартап Tiiny AI представив кишеньковий суперкомп’ютер для локального запуску ШІ-моделей спершу з'явиться на ProstoMob.