Технології

Домашній AI-суперкомп’ютер зібрали з п’яти Mac Studio: запустили на ньому модель рівня дата-центру

29 бер•ProstoMob

Популярний ютуб-канал NetworkChuck опублікував відео, яке підірвало технічну спільноту: автор з’єднав п’ять Apple Mac Studio в єдиний AI-кластер і спробував запустити на ньому Llama 3.1 405B — одну з найбільших відкритих мовних моделей у світі, яка зазвичай потребує цілого серверного залу.

Навіщо взагалі кластеризувати комп’ютери для AIГоловна проблема запуску потужних AI-моделей локально — це пам’ять. Чим більше параметрів має модель, тим більше відеопам’яті (VRAM) потрібно для її роботи. Для орієнтиру:

Llama 3.2 1B (1 млрд параметрів) — потребує 4 ГБ VRAM, працює навіть на слабкому GPU
Llama 3.3 70B (70 млрд параметрів) — потребує 48 ГБ VRAM, жодна споживча відеокарта не впорається
Llama 3.1 405B (405 млрд параметрів) — потребує 1 терабайт VRAM. Для порівняння: топова RTX 4090 має лише 24 ГБ. Щоб запустити 405B на відеокартах, знадобилося б 42 штуки RTX 4090.

Саме тут у гру входять Mac Studio з їхньою уніфікованою пам’яттю (Unified Memory Architecture) — системна RAM і GPU-пам’ять тут об’єднані в один пул. Кожен Mac Studio у конфігурації автора має 64 ГБ спільної пам’яті.

П’ять машин разом — це 320 ГБ, доступних для AI-задач.

Для кластеризації автор використав відносно нову та поки що бета-програму XO Labs — відкритий проєкт, який дозволяє об’єднати будь-яке залізо (від Raspberry Pi до Mac Studio) в єдиний AI-кластер. Програма автоматично виявляє вузли в мережі, ділить модель між ними та надає веб-інтерфейс із ChatGPT-сумісним API.

Встановлення виявилось відносно простим: Python 3.12, бібліотека MLX (Apple’s Machine Learning Acceleration), клонування репозиторію XO і запуск однієї команди на кожній машині.

Перший тест проводився через 10-гігабітний Ethernet (комутатор Ubiquiti XG-6 POE). Результати виявились невтішними:

Одна машина на моделі Llama 1B: 117 токенів/сек
П’ять машин через 10GbE на тій самій моделі: лише 29 токенів/сек

Розподіл задач між вузлами вимагає постійного обміну великими масивами даних, а 10 Гбіт — це мізер порівняно з тим, що використовують промислові AI-кластери: там швидкість з’єднання сягає 400–800 Гбіт/сек з прямим GPU-to-GPU доступом без OS-overhead.

Другий тест — через Thunderbolt (до 40 Гбіт/сек з прямим PCIe-доступом).

Результат помітно кращий, але все одно далекий від ідеалу через топологію підключення типу “зірка” з одним центральним вузлом-пляшковим горлом.

Головний тест: Llama 3.1 405BЗапуск найбільшої моделі зажадав окремого квесту: завантажити квантизовану (4-bit) версію вагою близько 200 ГБ на кожну машину. Після розподілу моделі між п’ятьма вузлами система запрацювала.

Результат: 0.5–0.8 токена на секунду. Це повільно — для порівняння, звичайна розмова з ChatGPT генерує десятки токенів за секунду. Але головне — це взагалі спрацювало. Модель, яка зазвичай живе виключно в хмарних дата-центрах із серверами вартістю дорожче за будинок, запустилась на п’яти настільних комп’ютерах у домашній студії.

Вартість і ефективністьОдин Mac Studio M2 Ultra з 64 ГБ RAM коштує $2 600. П’ять машин — $13 000. Для порівняння: одна RTX 4090 коштує $1 600 і дає лише 24 ГБ VRAM. При цьому Mac Studio споживає в режимі очікування всього 46 Вт на всі п’ять машин разом — показник, який топові GPU навіть не розглядають як конкурентний.

Для повсякденного використання (модель Llama 3.3 70B на одному Mac Studio) продуктивність виявилась відмінною: модель запускається швидко, без swap-пам’яті, з повним завантаженням GPU.

Проект довів: кластеризація споживчого заліза для запуску великих AI-моделей — реальна, хоча й зі значними обмеженнями. Мережа залишається ключовим вузьким місцем, а XO Labs ще перебуває в бета-версії. Але сама концепція — замінити хмарний AI-сервіс локальним кластером із доступних машин — вже працює.