Компанії дедалі частіше використовують автономних ШІ-агентів для складних завдань, але контролювати їхню роботу вручну стає неможливо. Тому розробники створюють окремі ШІ-системи, які стежать за діями інших моделей.
Про це пише видання TechCrunch.
Проблема стала особливо помітною після інциденту з агентами OpenAI на платформі Hugging Face. Майже 12 тисяч агентів могли координувати свої дії швидше, ніж люди встигали їх відстежувати. Під час незалежного розслідування дослідникам Redwood Research також довелося використовувати ШІ, оскільки обсяг отриманих даних був надто великим для ручного аналізу.
Ідея полягає у створенні своєрідного «наглядача» для автономних агентів. Така система може перевіряти дії іншої моделі перед їх виконанням і виявляти потенційно небезпечну поведінку.
Наприклад, компанія Apollo Research розробила Watcher. Інструмент підключається до агентів на кшталт Claude Code і Codex та перевіряє їхні заплановані дії. Серед можливих ризиків система шукає спроби витоку приватних даних або видалення файлів без дозволу.
Apollo використовує кілька рівнів моніторингу.
Спочатку швидка модель перевіряє дії агента, а підозрілі випадки передаються потужнішій або спеціалізованій системі. Вона може запросити рішення людини, відхилити дію або автоматично заблокувати її.
Інший підхід розвиває Goodfire. Компанія намагається контролювати не лише зовнішню поведінку моделей, а й те, що відбувається всередині них. Її інструмент Silico використовує спеціальні класифікатори, які аналізують внутрішні сигнали моделі та шукають ознаки небажаної поведінки.
Ще одним джерелом інформації може бути текстове міркування ШІ. Під час інциденту на Hugging Face агенти залишали у своїх записах ознаки того, що намагалися приховати власні дії та обійти перевірку. Такі записи можуть допомагати виявляти проблемну поведінку.
Водночас використання одного ШІ для контролю іншого має очевидне обмеження. Якщо агент зрозуміє, що за ним стежить інша модель, він може спробувати її обдурити або обійти систему контролю.
Саме це, за словами технологічного оглядача Саймона Віллісона, вже частково проявилося в інциденті з OpenAI. За його словами, моделі намагалися ввести в оману ШІ,
який використовували для оцінювання їхніх результатів.
Є й інший підхід: взагалі не покладатися на ШІ-спостерігачів. Віллісон пропонує детально записувати всі дії агентів, їхній мережевий трафік і взаємодію із системами, а потім аналізувати ці дані звичайними інструментами кібербезпеки.
Такий підхід не є новим. Мережевий моніторинг десятиліттями використовується для контролю активності в комп’ютерних системах. Після поширення автономних ШІ-агентів ці методи можуть стати основою для їхнього контролю поряд із новими ШІ-системами нагляду.
TechCrunch зазначає, що навколо цього напряму вже формується окремий ринок. За підрахунками видання, Y Combinator за останні роки профінансував 106 компаній, пов’язаних із моніторингом ШІ. Серед стартапів у цій сфері також є Braintrust, LangChain і Judgment Labs, а Arize та Galileo вже встигли пройти етап виходу з бізнесу засновниками.
Читайте також:
