Виглядає як щось із серверної стійки, зібране на колінах. Але саме це «щось» обігнало значно новішу відеокарту при запуску локальних мовних моделей — і при цьому споживало менше енергії. Автор каналу Hardware Haven зібрав цей стенд приблизно за $235 і, схоже, сам не очікував таких результатів.
В основі збірки — Nvidia Tesla V100 у форм-факторі SXM2. Якщо ви не стикалися з цим стандартом, коротко: SXM — це роз’єм, розроблений Nvidia для датацентрів. На відміну від звичного PCIe, він живить карту безпосередньо через роз’єм, забезпечує кращу цілісність сигналу і підтримує NVLink — надшвидку шину для прямого зв’язку між кількома GPU. Для датацентрів це зручно. Для домашнього ентузіаста — головний біль, бо в звичайний ПК така карта просто не стане.
Але є рішення. Автор знайшов адаптер за $100, який перетворює SXM2 на звичайний PCIe x16 слот. Два 8-пінових роз’єми живлення, три вентиляторних заголовки — і ось серверна карта вже теоретично готова до роботи в десктопі.
Tesla V100 вийшла у 2017 році на архітектурі Volta — ще до епохи RTX. Тоді ці карти коштували близько $10 000.
Зараз, оскільки вони підтримуються лише legacy-гілкою драйверів Nvidia, їх можна знайти на eBay за $100. Автор взяв версію на 16 ГБ пам’яті HBM2 — старий стандарт, але з чудовою пропускною здатністю.
GPU прикрутили до адаптера, поставили в бюджетний mini-ITX корпус з блоком живлення на 750 Вт. Система завантажила Ubuntu Server 24.04, карта визначилася — і все запрацювало. Але охолодження у серверної карти немає від слова «зовсім»: вона розрахована на примусовий обдув у стійці. Довелося моделювати та друкувати кожух на 3D-принтері і кріпити 80-мм вентилятор. Тримається це все на zip-стяжці. Але під навантаженням температури не виходили за межі норми і throttling’у не було.
При запуску локальних LLM через Ollama V100 видав близько 108 токенів за секунду на моделі Gemma 4. RTX 3060 12 ГБ — лише 76 токенів за секунду. При цьому загальне енергоспоживання системи з V100 склало 293 Вт проти 235 Вт у системи з 3060.
Але найцікавіше — ефективність. V100 видає 0,37 токена на ват, 3060 — 0,33. Тобто старша карта ефективніша навіть за нову. А якщо обмежити ліміт потужності V100 до 100 Вт через nvidia-smi — система споживає всього 170 Вт і все одно видає 95 токенів за секунду.
3060 при тому ж обмеженні дає лише 68. Різниця в ефективності — 41% на користь V100.
Єдине, де 3060 виграє — споживання у режимі простою: 35 Вт проти 45 Вт у системи з V100. Якщо GPU більшість часу просто чекає — це має значення.
Автор також протестував V100 у Frigate NVR із моделлю YOLOv9 для розпізнавання об’єктів на відеопотоці. Якість детектування — помітно краща, ніж на Intel iGPU з MobileNet. Але енергоспоживання при моніторингу двох камер виросло до 106 Вт — проти 26 Вт на мініатюрному N100. Для виключно домашньої камери спостереження — мабуть, надмірно. Але якщо поєднати Frigate, Ollama і відеокодування на одній машині — вже є сенс.
За $235 — GPU, який б’є RTX 3060 у задачах локального ИІ і робить це ефективніше за ватом. Так, збірка виглядає кумедно. Так, кожух тримається на zip-стяжці. Але це працює — і це трохи повертає надію, що серверне залізо колись знову стане доступним для звичайних людей.
Запис Старий датацентровий GPU за $235 обігнав сучасну відеокарту у запуску локальних ШІ-моделей спершу з'явиться на ProstoMob.
