Американська стартап-компанія Tiiny AI показала, що навіть 14-річний комп’ютер може працювати з великою мовною моделлю (LLM) зі 120 мільярдами параметрів — і робити це офлайн, без інтернету.
Про це пише видання Interesting Engineering.
У демонстрації модель GPT-OSS 120B від OpenAI працювала на Pocket Lab — персональному суперкомп’ютері Tiiny AI.
Компанія хоче зробити потужний штучний інтелект доступним усім, навіть без сучасних графічних процесорів, хмарних сервісів або швидкого інтернету. Pocket Lab вже отримав визнання як «Найменший MiniPC для 100B LLM локально» після запуску 10 грудня 2025 року.
Для експерименту використали ПК 2011 року з процесором Intel Core i3−530, 2 ГБ оперативної пам’яті та старим CRT-монітором. Після підключення Pocket Lab комп’ютер зміг запустити ChatGPT зі швидкістю близько 20 токенів на секунду.
Команда задавала моделі різні питання: спочатку «Хто ти?», потім «Чому 1+1=2». Модель відповіла докладно, використавши 1582 токени зі швидкістю 18,6 токенів на секунду.
«Ця демонстрація доводить те, що індустрія ШІ вважала неможливим», — сказав Самар Бходж,
директор з GTM у Tiiny AI.
Він додав: «Велика модель тепер не потребує масивних GPU-кластерів чи хмарної інфраструктури. З Tiiny AI Pocket Lab складний ШІ може працювати офлайн на звичайному комп’ютері, навіть 14-річному. Майбутнє ШІ належить людям, а не дата-центрам».
Секрет суперкомп’ютера — технології Tiiny AI: TurboSparse та PowerInfer. TurboSparse активує лише потрібні нейрони, не знижуючи ефективності моделі. PowerInfer розподіляє навантаження між CPU та NPU, зменшуючи споживання енергії.
Pocket Lab оснащений 12-ядерним ARMv9.2 CPU, 80 ГБ пам’яті LPDDR5X та 1 ТБ SSD, вага — близько 300 грамів, потужність — 65 Вт.
Pocket Lab підходить для особистого використання ШІ: студенти, дослідники, розробники та креатори можуть виконувати багатокрокове мислення, генерувати контент, аналізувати дані та працювати з конфіденційною інформацією без інтернету.
Дані користувача зберігаються локально з банківським рівнем шифрування, що забезпечує високу приватність у порівнянні з хмарними системами.
Читайте також:
- ChatGPT Atlas. OpenAI запустила браузер з інтегрованим ШІ для macOS
- З Apple Music і DoorDash. OpenAI запустила магазин застосунків ChatGPT
- Як Gemini наздоганяє ChatGPT і в чому секрет успіху ШІ Google
