Китайська компанія DeepSeek опублікувала у відкритому доступі DeepInfer — інструмент для ефективнішого запуску моделей штучного інтелекту. Він може знизити витрати бізнесу на обчислення та посилити конкуренцію з OpenAI й Anthropic.
Про це пише видання Gizmodo.
DeepInfer доступний на GitHub і наразі призначений для роботи з DeepSeek V4.1 Flash — швидшою, ефективнішою та дешевшою версією ШІ-моделі компанії. У DeepSeek заявили, що відкрили власні виробничі напрацювання, аби допомогти розробникам скоротити обчислювальні витрати, споживання енергії та вартість використання штучного інтелекту. У майбутньому компанія планує додавати до інструмента інші моделі в міру їхнього оприлюднення.
DeepInfer оптимізує так званий інференс — процес, під час якого навчена модель обробляє запит користувача та генерує відповідь. Цей етап потребує значних обчислювальних ресурсів, особливо коли ШІ виконує складні завдання, що складаються з багатьох послідовних кроків.
Для компаній витрати на роботу моделей стають дедалі важливішим питанням. Наприклад, консалтингова компанія Accenture,
за даними медіа 404 Media, обмежила щомісячні витрати багатьох співробітників на Claude від Anthropic сумою $29.
Додатковий тиск на американських розробників створюють китайські моделі з відкритим кодом, які можуть бути значно дешевшими в навчанні та використанні. За даними OpenRouter, мільйон вхідних токенів DeepSeek V4.1 Flash коштує $0,035, а мільйон вихідних — $0,12. Для порівняння, у GPT-6 Astra від OpenAI ціна становить відповідно $10 і $50.
Токени — це одиниці тексту, які модель обробляє під час роботи. Вхідні токени відповідають за отримані дані, зокрема запит користувача, а вихідні — за згенеровану відповідь. Тому різниця в тарифах може суттєво впливати на витрати компаній, які активно використовують ШІ.
DeepInfer застосовує, зокрема, спекулятивне декодування — метод, який допомагає прискорити генерацію відповідей. Це може додатково зменшити витрати на обслуговування запитів і зробити відкриті моделі DeepSeek привабливішими для бізнесу.
Водночас поширення китайських ШІ-інструментів викликає занепокоєння в американської влади. Адміністрація президента США Дональда Трампа запровадила обмеження на використання інструментів DeepSeek у деяких федеральних установах, зокрема Державному департаменті. Приватним компаніям і організаціям ці правила не забороняють користуватися такими моделями.
Читайте також:
