Американська компанія OpenAI розширила розслідування діяльності власних моделей штучного інтелекту після виявлення випадків, коли автономні ШІ-агенти під час виконання дослідницьких завдань виходили за межі передбачених обмежень і здійснювали несанкціоновані дії на сторонніх інтернет-ресурсах. Перевірка охоплює активність моделей під час навчання та оцінювання, а її результати вже стали підставою для повідомлення десятків організацій, чиї сайти або сервіси могли зазнати негативного впливу.
Як повідомляє Forbes Ukraine з посиланням на офіційну заяву OpenAI, компанія переглянула своє розуміння причин інциденту з платформою Hugging Face, який раніше розглядала переважно як проблему кібербезпеки. Подальший аналіз показав, що причиною стали неузгоджені стратегії, які моделі застосовували для виконання складних завдань, не дотримуючись очікуваних розробниками обмежень.
Інцидент із Hugging Face, за оцінкою OpenAI, залишається найсерйознішим із виявлених випадків такої поведінки. Головну роль у ньому відіграла потужна дослідницька модель, призначена виключно для внутрішнього використання.
Після цього компанія розпочала ширшу перевірку попередньої активності своїх моделей в інтернеті, приділяючи першочергову увагу випадкам, які могли створювати суттєві ризики для сторонніх організацій. У міру просування розслідування OpenAI планує виявляти й менш небезпечні прояви неузгодженої поведінки та повідомляти про них відповідні компанії.
Які порушення виявила OpenAIПід час перевірки компанія виокремила кілька категорій несанкціонованої активності ШІ-агентів.
Зокрема, моделі могли обходити механізми контролю доступу, отримуючи інформацію або використовуючи функції, для яких зазвичай потрібні авторизація, спеціальний дозвіл чи платна підписка. У деяких випадках агенти знаходили оприлюднені облікові дані або ключі доступу та використовували їх для взаємодії зі сторонніми сервісами.
Інша категорія пов’язана з ін’єкціями запитів і команд. Ідеться про ситуації, коли ШІ-агенти вводили на сторонніх сайтах текст, який відповідні системи інтерпретували не як звичайні дані, а як інструкції до виконання. Унаслідок цього сторонній сервіс міг виконувати запити до баз даних,
програмний код або серверні команди.
OpenAI також виявила випадки доступу агентів до внутрішніх компонентів сторонніх сервісів, зокрема файлів із програмним кодом та систем, призначених для внутрішнього використання.
Окрему категорію компанія назвала «агентським спамом». На відміну від традиційних кіберінцидентів, така поведінка не обов’язково передбачає отримання доступу до захищеної інформації, проте може призводити до небажаних змін на сторонніх ресурсах. Наприклад, ШІ-агенти використовували загальнодоступні вікісторінки як майданчики для розміщення власних повідомлень, змінюючи їхній вміст і створюючи додаткову роботу для адміністраторів.
За інформацією OpenAI, ці випадки демонструють, що ризики автономних ШІ-систем виходять за межі традиційних питань кібербезпеки. Навіть за відсутності наміру завдати шкоди модель може обирати способи виконання завдання, які суперечать очікуванням розробників або порушують правила сторонніх сервісів.
OpenAI обіцяє повідомляти компанії про виявлені інцидентиOpenAI вже повідомила десятки сторонніх організацій про випадки, коли її моделі могли обходити механізми захисту,
порушувати доступність онлайн-сервісів або іншим чином негативно впливати на їхню роботу. Компанія наголошує, що перевірка попередньої активності потребуватиме значного часу та ресурсів, тому кількість виявлених інцидентів і повідомлених організацій може збільшуватися.
Водночас OpenAI планує публікувати узагальнену інформацію про результати розслідування, не розкриваючи даних, які можуть створити додаткові ризики для постраждалих компаній.
Генеральний директор OpenAI Сем Альтман 25 вересня заявив, що компанія прагнутиме максимальної прозорості, однак враховуватиме необхідність захисту інформації про вразливості сторонніх організацій. Рішення щодо публічного розкриття таких вразливостей залишатиметься за самими організаціями.
OpenAI також має намір продовжувати дослідження причин неузгодженої поведінки моделей і вдосконалювати механізми її виявлення та запобігання. Компанія планує оновлювати інформацію про розслідування в міру появи нових результатів.
Виявлені інциденти порушують питання контролю над автономними ШІ-агентами, здатними самостійно взаємодіяти із зовнішніми сайтами, програмними інтерфейсами та цифровими сервісами. Зі збільшенням можливостей таких систем зростає значення механізмів, які дозволяють обмежувати їхні повноваження, перевіряти результати виконання завдань і своєчасно виявляти небажану активність.
