OpenAI відкрила широкий доступ до Decisions API — інструменту для швидкого ухвалення рішень штучним інтелектом. Після оптимізації затримку вдалося скоротити з 1–3 секунд приблизно до 100–180 мілісекунд.
Про це пише TechCrunch.
Моделі такого типу мають швидко обирати один із доступних варіантів і оцінювати впевненість у своєму рішенні. У певних робочих процесах вони можуть використовуватися замість звичайних мовних моделей, забезпечуючи вищу швидкість і менші витрати.
Керівник продуктового напряму API в OpenAI Нікунд Ханда розповів, що компанія звернула увагу на успіх аналогічних технологій на ринку. Замість створення окремої спеціально відкаліброваної моделі розробники переналаштували ChatGPT Luna для швидшої та дешевшої обробки запитів.
Decisions API вже став доступним усім клієнтам. OpenAI також додала до нього нові голосові та візуальні можливості, а в майбутньому планує впровадити спеціалізоване навчання.
Під час перших випробувань новий API використовували Datadog, Ramp і Speak, замінюючи ним попередні моделі OpenAI у сценаріях, де потрібна висока пропускна здатність.
У сервісі Speak час між діями вдалося скоротити з 1,4 секунди до 0,13 секунди.
OpenAI також застосувала технологію для підвищення чутливості голосового помічника Dots. Водночас на ринку вже працюють конкурентні моделі для швидкого ухвалення рішень, зокрема Jev від TypeSafe.
Єдиного стандарту оцінювання таких моделей поки немає, оскільки необхідний баланс між швидкістю, ціною, точністю та якістю залежить від конкретного сценарію. У публічних AIM System One Index та Artificial Analysis Decision Index серед лідерів називають D1 Ultra від Liquid і Elephant-1 від Base Lab, тоді як оновлена Jev також залишається серед конкурентних рішень.
TypeSafe окремо використовує тест JevMan, у якому штучний інтелект керує персонажем у Pac-Man і має ухвалювати рішення за кількасот мілісекунд. Остання версія Jev наразі очолює цей рейтинг.