Як запустити DeepSeek-V3.1 на Bosgame M5 AI: досвід використання міні-ПК для ШІ

Запуск великих мовних моделей, таких як DeepSeek-V3.1 з 671 мільярдом параметрів, традиційно асоціюється з високими витратами на хмарні обчислення або необхідністю мати у розпорядженні серверну інфраструктуру, що споживає величезну кількість енергії. Однак компанія Bosgame змогла спростити цей процес, довівши, що навіть настільний кластер з міні-ПК може впоратися з такими завданнями.

Можливості та архітектура Bosgame M5 AIОсновою запропонованого рішення стали сім міні-ПК Bosgame M5 AI, оснащених процесорами Ryzen AI Max+ 395 з лінійки Strix Halo від AMD. Ці пристрої мають потужну інтегровану графіку й швидку оперативну пам'ять, що є критично важливим для штучного інтелекту. У максимальній комплектації кожен міні-ПК отримує 128 ГБ оперативної пам'яті, чого достатньо для більшості повсякденних завдань, але недостатньо для запуску DeepSeek-V3.1 окремо.

Міні-ПК M5 AI. Ілюстрація: Bosgame USB4 Direct Connection: як працює кластерКлюч до створення єдиного потужного обчислювального кластера — це використання технології USB4 Direct Connection. Вона дозволяє з'єднати сім міні-ПК у розподілену систему без складної серверної архітектури,

що значно спрощує масштабування та знижує витрати. Основні характеристики такого кластера:

• Загальний обсяг уніфікованої пам'яті — 896 ГБ.
• До 672 ГБ виділено під потреби GPU.
• Відсутність вимог до спеціалізованого серверного охолодження.

Головна перевага такої системи — можливість поступового нарощування потужності: користувач може стартувати з одного пристрою й додавати нові вузли у міру необхідності. При цьому загальна вартість рішення залишається значно меншою, ніж у професійних серверних систем аналогічної потужності, а енергоспоживання — у межах прийнятних значень.

Основні характеристики M5 AI. Ілюстрація: Bosgame

Вартість і ринкові тенденціїВарто зазначити, що з часом ціна на Bosgame M5 AI зросла: якщо на початку минулого року максимальна версія коштувала приблизно $1 700 (75 600 грн), то зараз виробник встановив ціну на рівні $2 800 (124 600 грн). Таке подорожчання може бути зумовлене дефіцитом потужних чипів AMD або позиціонуванням продукту як унікального рішення на ринку.

"Навіть за такої ціни кластер із семи міні-ПК виглядає привабливою альтернативою для розробників, які бажають зберігати дані локально, а не використовувати хмарні сервіси. Це пряме технічне рішення для тих, хто цінує автономність та незалежність від великих корпорацій". Поки Bosgame надає можливість створювати потужні локальні кластери, великі гравці ринку, такі як SpaceX, готують мільярдні угоди на хмарні обчислення для Пентагону, що свідчить про глобальні масштаби застосування ШІ-технологій.