Зовнішній пристрій Nextorage aiDAPTIV Station. Джерело: NextorageПроблема, яку вирішують мало хтоЛокальний запуск великих мовних моделей залишається привілеєм обраних. Зазвичай для цього потрібні серверні конфігурації або мінімум пара топових відеокарт із десятками гігабайт відеопам'яті. Середньостатистичний користувач, навіть власник ноутбука з маркуванням "AI PC", змушений покладатися на хмарні сервіси та платні підписки.
Японська компанія Nextorage - дочірнє підприємство виробника контролерів Phison - запропонувала нетривіальну відповідь на цю проблему. Замість спроб покращити залізо, компанія підійшла радикально інакше: створила зовнішній пристрій, який перетворює звичайний ноутбук на повноцінний локальний AI-сервер.
aiDAPTIV Station: як це працюєКлючова розробка Nextorage - прототип aiDAPTIV Station побудований на основі технології Phison aiDAPTIV+. Пристрій демонструє можливість запуску моделей рівня OpenAI GPT-OSS-120B на комп'ютерах всього з 32 ГБ оперативної пам'яті — тієї пам'яті, яка б у стандартній конфігурації була недостатня.
Суть інновацій полягає у динамічному розподілі пам'яті.
Замість спроби помістити гігантську модель в дорогу DRAM система використовує швидкі SSD як логічне продовження оперативної пам'яті. Великі нейромережі розбиваються на шари, які завантажуються в основну пам'ять у міру необхідності, а решта зберігається на NAND-накопичувачі пристрою.
Очевидний недолік підходу – швидкість. Пропускна здатність USB-C-інтерфейсу неминуче стає вузьким місцем, порівняно з прямим підключенням через PCIe материнської плати. Однак для розробників та дослідників, яким важлива сама можливість локального тестування без постійних хмарних витрат, такий компроміс дуже привабливий.
Практичне застосування та підтримка ОСaiDAPTIV Station отримає компактний форм-фактор і підтримуватиме роботу як під Windows, так і під Ubuntu Linux. Це забезпечує універсальність та відкриває пристрій для широкого спектру розробників та ентузіастів.
Nextorage планує випустити не тільки обладнання, а й власне програмне забезпечення для автоматизації налаштування моделей. Це критично важливо, оскільки самостійне квантування та сегментація великих нейромереж потребує значних навичок та терпіння.
Коли чекати і почімВихід aiDAPTIV Station на японський ринок заплановано на кінець поточного року. Точна вартість ще не розголошена, але Nextorage обіцяє, що вона буде значно нижчою, ніж у професійних GPU з 48+ ГБ відеопам'яті.
Чому це важливо заразРішення Nextorage - це символічний поворот у підході до ІІ. Коли великі корпорації активно просувають підписки з хмар, такі проекти повертають обчислювальну потужність користувачам. Навіть якщо це означає необхідність підключення додаткового пристрою до ноутбука.
Контекст посилює актуальність розробки: за даними MIT NANDA, 95% компаній не отримали відчутної віддачі від своїх інвестицій у ІІ. У такій ситуації дешеві та доступні інструменти локального запуску моделей можуть стати реальною альтернативою дорогим хмарним рішенням, особливо для малого бізнесу та незалежних розробників.
Повідомлення Nextorage розкрила спосіб запустити GPT-120 спочатку на ITnet.
