Розробники Tiny Corp створили відкритий драйвер, який дозволяє запускати відеокарти Nvidia на macOS через Thunderbolt
Вперше за сім років користувачі Mac можуть використовувати відеокарти Nvidia для обчислень. Проект Tiny Corp випустив відкритий драйвер TinyGPU — розширення ядра macOS, яке дозволяє підключати Nvidia GPU через Thunderbolt або USB4 без жодних хаків і віртуальних машин. Apple вже офіційно схвалила драйвер для карт як Nvidia, так і AMD.
Передісторія
У 2018 році Apple і Nvidia розійшлися, і починаючи з macOS Mojave підтримку CUDA було повністю видалено. Замість цього Apple зробила ставку на власний графічний фреймворк Metal. Tiny Corp вирішила цю проблему, написавши драйвер Nvidia з нуля.
Автор каналу Alex Ziskind протестував три відеокарти серії Blackwell — RTX 5060 Ti, 5070 Ti та 5090 — підключивши їх до Mac Mini з чіпом Apple M4 Pro та 64 ГБ пам’яті.
Матричні множення (FP32):
- M4 Pro (Metal) — ~33 Тфлопс
- RTX 5060 Ti — ~22,7 Тфлопс
- RTX 5070 Ti — ~342 Тфлопс на матриці 8K×8K
- RTX 5090 — результат схожий на 5070 Ti, але з 32 ГБ VRAM
- RTX 5090 — ~6 токенів/с
- RTX 5070 Ti — ~5,5 токенів/с
- RTX 5060 Ti — ~4,6 токенів/с
- M4 Pro (Metal) — ~3,66 токенів/с
Чому це важливо, попри низьку швидкістьАвтор підкреслює: Thunderbolt тут не є вузьким місцем. Після завантаження ваг моделі у VRAM весь інференс відбувається всередині GPU — через кабель передаються лише кілька байт на токен. Проблема суто програмна: TinyGrad автоматично генерує ядра із компілятора загального призначення, тоді як Llama.cpp роками оптимізувався вручну.
Головне досягнення Tiny Corp — сам факт створення драйвера, компілятора та менеджера пам’яті з нуля. Те, що відмовилися робити Apple і Nvidia, зробила спільнота. Продуктивність зростатиме по мірі оптимізації ядер — і за цим процесом вже варто стежити.
Запис RTX 5090 від Nvidia підключили до Mac через Thunderbolt спершу з'явиться на ProstoMob.
