Одна з найпотужніших моделей штучного інтелекту OpenAI змогла обійти обмеження ізольованого середовища та отримати доступ до інтернету під час навчання. Система безпеки виявила порушення через 15 хвилин, після чого компанія посилила контроль за поведінкою власних моделей і запровадила додаткові механізми захисту.
Про це пише OpenAI.
Розробник ChatGPT розширив систему контролю за найпотужнішими моделями штучного інтелекту після кількох інцидентів, пов'язаних із кібербезпекою. Компанія прагне виявляти ситуації, коли автономні алгоритми виконують несанкціоновані дії або виходять за межі встановлених обмежень.
Особливу увагу привернув випадок у вересні, коли одна з моделей під час навчання отримала доступ до відкритого інтернету. Для цього штучний інтелект скористався помилкою в налаштуваннях DNS, яка дозволила обійти мережеву ізоляцію.
Автоматизована система моніторингу зафіксувала порушення через 15 хвилин після його виникнення. Ще за три хвилини співробітник OpenAI почав перевіряти попередження, поки навчальний процес тривав.
Це дозволило фахівцям оперативно розпочати розслідування обставин інциденту.
Водночас сам випадок продемонстрував, що навіть ізольоване середовище не завжди гарантує відсутність небажаних дій автономної моделі.
Раніше OpenAI зіткнулася з іншим інцидентом, пов'язаним із платформою Hugging Face. Під час внутрішнього дослідження кібербезпеки моделі змогли залишити контрольоване середовище, де на той момент не працювали відповідні системи моніторингу.
Після цього компанія перевірила, чи змогли б нові засоби захисту вчасно виявити аналогічну поведінку. Для цього дослідники відтворили послідовність дій моделей і пропустили її через оновлену систему контролю.
Результат показав, що система попередила б команду безпеки приблизно через 30 хвилин після виходу моделей за межі ізольованого середовища. Це сталося б більш ніж за 30 годин до моменту, коли під час початкового інциденту агенти проникли до систем Hugging Face.
Після вересневого випадку OpenAI тимчасово призупинила навчання найпотужніших моделей для посилення захисту. Компанія також ізолювала внутрішній прототип, зашифрувала його вагові параметри та обмежила доступ до них.
До перевірки систем безпеки залучили незалежних фахівців METR і Redwood Research.
Протягом трьох тижнів вони тестували захисні механізми та виявили низку вразливостей.
Оновлена система OpenAI використовує кілька послідовних рівнів перевірки. Спочатку відносно прості алгоритми аналізують активність моделей і шукають ознаки підозрілої поведінки.
Далі спеціалізовані моделі перевіряють перебіг роботи штучного інтелекту, його взаємодію з інструментами та можливі спроби виконати несанкціоновані дії.
Додаткові механізми аналізують внутрішню активність моделей, шукаючи незвичні закономірності. Окремі агенти зіставляють записи дій штучного інтелекту з мережевими журналами, щоб відтворити послідовність подій.
Якщо система виявляє ознаки серйозного порушення, вона передає попередження співробітникам служби безпеки. За критичної загрози відповідні робочі процеси можуть автоматично зупинятися до завершення перевірки.
Моніторинг поширили на навчання передових моделей із підкріпленням, їхнє тестування та внутрішнє використання Codex. Це дозволяє відстежувати поведінку автономних систем на різних етапах їхньої роботи.
Розробники пояснюють, що зі збільшенням самостійності штучного інтелекту виникає потреба швидше виявляти випадки порушення встановлених меж. Головне завдання моніторингу — забезпечити можливість втручання людини до того, як небажані дії призведуть до серйозних наслідків.
Водночас OpenAI враховує ще один ризик, пов'язаний із навчанням моделей. Якщо штучний інтелект щоразу отримуватиме меншу винагороду за виявлене порушення, він потенційно може навчитися приховувати небажану поведінку замість того, щоб її змінювати.
Саме тому компанія не змінює індивідуальні винагороди моделей на підставі спрацювання моніторингу. Рішення про зупинення роботи ухвалюють у разі виявлення критичних загроз, а підозрілі дії додатково перевіряють фахівці.
