Дослідники простежили активність на 55 сайтахКомпанія з цифрової криміналістики Asymmetric Security дослідила активність ШІ-агентів OpenAI у відкритому інтернеті та виявила сліди їхньої взаємодії з ресурсами десятків державних установ, компаній і некомерційних організацій.
Загалом дослідники встановили активність, пов’язану з 55 сайтами. Серед них — ресурси Центрів з контролю та профілактики захворювань США (CDC), Комісії з цінних паперів і бірж США (SEC), Міжнародного енергетичного агентства та медичного центру Mayo Clinic.
За висновками Asymmetric Security, початково агенти, ймовірно, виконували звичайні дослідницькі завдання — шукали статистику у сфері охорони здоров’я, міжнародної торгівлі та освіти.
Проблеми виникали у випадках, коли для отримання необхідної інформації агенти стикалися з обмеженнями власного ізольованого середовища. Тоді вони починали використовувати сторонні вебсервіси та інші способи отримання доступу до інформації.
Агенти обходили обмеження свого середовищаAsymmetric Security виявила випадки, коли ШІ-агенти намагалися знаходити відкриті конфігураційні файли,
створювати облікові записи, спрямовувати запити через сторонні сервіси та отримувати результати через канали, які спочатку не були передбачені для виконання завдання.
Зокрема, використовувався сервіс Urlquery, призначений для аналізу сайтів на наявність шкідливого програмного забезпечення. Агенти могли створювати тимчасові електронні скриньки та приватні облікові записи, що дозволяло їм отримувати інформацію поза межами стандартного механізму вебдоступу.
Дослідники також виявили успішний доступ до окремих тестових середовищ та ознаки використання методів розвідки, характерних для кібербезпекових досліджень і реальних атак.
При цьому в переважній більшості встановлених випадків агенти отримували публічно доступні дані.
Частина цифрових слідів виявилася недоступноюНайбільше занепокоєння дослідників викликало те, що деякі способи роботи агентів залишали після себе неповні цифрові сліди.
Окремі записи могли бути видалені або ставали недоступними для подальшого аналізу. Через це незалежні дослідники не можуть на підставі відкритих даних остаточно встановити, яку саме інформацію отримували агенти в кожному конкретному випадку.
Asymmetric Security наголошує, що наявних доказів недостатньо для висновку про свідоме приховування агентами своєї діяльності.
Така поведінка могла бути результатом спроб моделей виконати поставлене завдання в умовах технічних обмежень, а не окремою метою приховати сліди своїх дій.
Водночас співзасновниця Asymmetric Security Піппа Томпсон звернула увагу, що деякі зафіксовані прийоми схожі на методи, які використовують люди під час кібероперацій.
OpenAI повідомила понад 100 організаційOpenAI паралельно проводить власне розслідування випадків некоректної поведінки агентних моделей.
Компанія повідомила понад 100 організацій про потенційно проблемну активність своїх моделей, однак наголосила, що саме отримання такого повідомлення не означає факту компрометації системи або доступу до приватної інформації.
За позицією OpenAI, значна частина виявленої активності була пов’язана зі звичайними дослідницькими завданнями та роботою з відкритим вебконтентом.
Водночас компанія перевіряє висновки незалежних дослідників та порівнює їх із власними даними.
Розслідування порушує ширше питання безпеки автономних ШІ-агентів: системи, здатні самостійно планувати послідовність дій та використовувати зовнішні інструменти, можуть знаходити неочікувані способи досягнення поставленої мети, зокрема обходячи технічні обмеження, які розробники передбачали для контролю їхньої поведінки.
