Технології

Ентузіаст витратив $3000 на Pi кластер для ШІ — і пошкодував

28 бер•ProstoMob

У вересні 2025 року Джефф Герлінг завершив довгоочікуваний проєкт: 10-вузловий кластер на основі Compute Blade з модулями Raspberry Pi CM5 по 16 ГБ ОЗП кожен. Разом — 160 ГБ оперативної пам’яті та ціна питання близько $3000 з урахуванням доставки.

Замовлення було зроблено ще у квітні 2023 року, проте блейди надійшли лише через два роки — якраз тоді, коли Raspberry Pi вже перейшов з CM4 на CM5, а передзамовлені радіатори виявились непридатними.

Збірка перетворилась на тричі розібраний кластер. Спочатку виникли проблеми з різношерстим набором NVMe-дисків — деякі не працювали з PCIe-шиною Pi 5. Потім з’ясувалось, що без радіаторів CM5 тротлює під навантаженням. Після встановлення радіаторів результат покращився до 325 гігафлопс — рівно в 10 разів більше, ніж один модуль CM5.

В порівнянні з конкурентом кластер програв. Чотири Framework Desktop на AMD Ryzen AI Max показали майже вчетверо вищу продуктивність — близько 1180 гігафлопс. І хоча Pi-кластер трохи ефективніший за енергоспоживанням, за ціною на гігафлопс він поступається: Framework дає ~0,14 Gflops/,тодіякPi—лише 0,

11Gflops/, тоді як Pi — лише ~0,11 Gflops, тоді як Pi—лише 0,11 Gflops.

З ШІ ситуація ще гірша. Попри 160 ГБ сукупної пам’яті, прискорення через Vulkan на iGPU Pi 5 не працює — тільки CPU-інференс. Невелика модель Llama 3.2:3B на одному вузлі видає близько 6 токенів на секунду. Jeff Geerling При розподіленому запуску великої 70-мільярдної моделі через llama.cpp кластер видавав лише 0,28 токена за секунду — у 30 разів повільніше за Framework-кластер.

Висновок автора: кластер компактний, тихий та енергоефективний, але для 99% користувачів — це не той вибір. Реальні сценарії застосування вузькі: CI-задачі або безпечні edge-розгортання, де вимагаються фізично ізольовані вузли. Jeff Geerling

Запис Ентузіаст витратив $3000 на Pi кластер для ШІ — і пошкодував спершу з'явиться на ProstoMob.

Тихий

Читайте ще