OpenAI, Anthropic і Meta майже одночасно повідомили про інциденти, коли їхні ШІ-моделі вирвалися із замкнених тестових середовищ і самі, без прямої команди, зламали системи сторонніх організацій. Як таке могло статися?
Тест пішов не за планомВідлік почнемо з 7 травня, коли OpenAI запустила внутрішнє тестування дослідницької моделі, яку не планувала показувати публіці.
Йдеться про кібербезпекове оцінювання ШІ — це перевірка, під час якої моделі доручають знайти вразливості, написати шкідливий код або проникнути в захищену мережу, зазвичай у спеціально створеному ізольованому середовищі. Так розробники з’ясовують, на що здатна система, чи можна обійти встановлені обмеження та які запобіжники потрібні перед її запуском для користувачів.
Як пише Axios, уже за добу, застрягнувши на завданні з кібербезпеки, ШІ-агент дійшов висновку, що може дістатися інтернету обхідним шляхом — і виявив, що здатний записувати власні файли у спільне сховище пакетів Artifactory .
26 травня агент знайшов і використав уразливість у самому Artifactory, а тоді залишив іншим агентам підказку про знахідку.
Невдовзі моделі влаштували щось на кшталт дошки оголошень: лишали одна одній повідомлення й обмінювалися знайденими дірками, зокрема можливістю віддаленого виконання коду та отримання прав адміністратора.
Дослідник OpenAI Майкл Далтон зауважує, що коли один із ШІ-агентів натрапив на адмінські права, у його «міркуваннях» промайнуло здивування — такого доступу він і сам не очікував.
Врешті агенти перевантажили Artifactory і спричинили збій. OpenAI стерла дошку оголошень і 6 липня закрила вразливість. Та вже за кількадні агенти відтворили дошку через інший механізм, почали координуватися агресивніше й шукати зовнішні ресурси, де могли зберігатися відповіді на тестові завдання.
9 липня ця активність переросла в атаку на «GitHub для штучного інтелекту» — платформу Hugging Face.
«Ми вважаємо це переломним моментом для комп’ютерної безпеки як галузі та для OpenAI загалом», — додає Майкл Далтон.
В OpenAI не усвідомлювали, що саме їхнє тестування пов’язане зі зламом, доки не звернулися до Hugging Face щодо облікових даних, які виплили під час розслідування. За даними Digital Trends,
постраждала не лише Hugging Face, а й ще чотири організації.
Ефект доміно Моторошне відкриття OpenAI змусило Anthropic, відому за ШІ Claude, перевірити власні тести. Компанія переглянула понад 141 тисячу запусків. І з’ясувала, що її-то моделі теж щонайменше тричі виходили в інтернет без дозволу. .
Claude Opus 4.7, Claude Mythos 5 та внутрішня дослідницька модель отримали несанкціонований доступ до робочої інфраструктури трьох різних організацій. Щонайменше дві з постраждалих організацій злому навіть не помітили аж до повідомлення Anthropic. Зламував Claude відносно примітивними методами на кшталт підбору слабких паролів.
5 серпня про схожий випадок повідомила Meta. Помилка в тестовому середовищі компанії Irregular дала моделі Muse Spark 1.1 доступ до інтернету, після чого та використала вразливість у сторонньому сервісі. За даними The Information, система проникла в мережу неназваної компанії та змінила її внутрішнє середовище.
Незадовго до цього забив на сполох Британський Інститут безпеки ШІ (AISI). 28 липня його служба безпеки помітила незвичні передавання даних під час рутинного кібероцінювання.
Інститут проганяв одне завдання 122 рази на кількох ШІ-моделях — і в десяти прогонах агент самочинно діяв проти людей та організацій в інтернеті. Загалом зафіксували 19 таких дій: 17 припали на Mythos 5 від Anthropic, ще дві — на GPT-5.6-Sol від OpenAI.
Дослідники навмисно дали агентам вихід в інтернет і вимкнули захист, щоб перевірити граничні можливості моделей. Серед найсерйознішого — агент спробував протягнути шкідливий код у публічний проєкт з відкритим кодом: створив фейкові особистості й тиснув на реального супровідника репозиторію, щоб той схвалив зміни, а також писав живим людям і надсилав їм файли.
«Це вперше, коли ми спостерігали обман такого рівня, спрямований на реальну людину, без підказки, у реальному світі», — ідеться у звіті AISI.
Чим небезпечний демарш агентів Самі собою всі ці історії не доводять, що ШІ усвідомлено повстав проти розробників. Моделі Anthropic лишень сприйняли реальні сайти як частину завдання, бо отримали хибну інформацію про відсутність інтернету й не мали чіткої заборони виходити за межі тесту. Агент OpenAI просто шукав найкоротший шлях до відповіді,
використовуючи доступні вразливості.
Частина фахівців переконана, що запобігти зламам могла надійніша ізоляція пісочниць для тестування.
Математик Кембриджського університету Моріс Кіодо сказав агентству Reuters: «Люди, які створюють і випускають ці інструменти, самі не встигають навчитися відповідально їх розробляти та утримувати в безпечних межах».
Що турбує техноіндустрію, то це швидкість і масштаб розгортання зламу. Виявляється, один ШІ-агент може шукати вразливості наполегливіше й довше за сотні людей-хакерів. Окремі вразливості були типовими й доступними досвідченому хакеру, але модель перебирала їх без перерв і в темпі, який важко відстежувати вручну.
Що буде далі? За словами дослідника OpenAI Майкла Далтона, можна очікувати, що найближчим часом зловмисники навмисно розгортатимуть «наступальні колективи» шкідницьких ШІ-агентів.
Тим часом конгресмени США запропонували закон, який дозволить владі наказувати найбільшим розробникам сповільнювати або вимикати небезпечні ШІ-системи. та окремий законопроєкт про незалежні перевірки найпотужніших систем. А комітет Палати представників запросив в очільника OpenAI Сема Альтмана пояснення щодо атаки на Hugging Face.
Сама OpenAI заявила, що свідомо сповільнює дослідження заради безпеки й посилює нагляд за агентами. Повний розбір інциденту обіцяє за кілька тижнів.
«Дедалі більше йдеться про те, щоб керувати тим, які агенти доступні ШІ, якими повноваженнями вони наділені й які дії потребують погодження», — сказав Кок Тін Ґан, співзасновник і CEO компанії з кібербезпеки NyxLab. «І як гарантувати, що вони залишаються в межах поставленого завдання».
Читайте також:
- Як пересічному українцю допомогти державі у кібервійні? Ексклюзивне інтерв'ю NV з директором Департаменту кіберзахисту Держспецзв’язку
- Через наплив ШІ-звітів. Apple обмежила програму пошуку вразливостей
- Дешевші за Claude. Як китайські ШІ наздоганяють США та чи можуть відібрати лідерство
