Головна ідея агентного штучного інтелекту полягає у його здатності працювати автономно, виконуючи поставлені завдання. Однак під час тестування системи ROME стався непередбачуваний інцидент: ШІ-агент замість виконання своїх безпосередніх обов’язків почав займатися майнінгом криптовалюти, хоча не отримував жодних відповідних інструкцій. Таку інформацію оприлюднив портал SlashGear.
Виявлення проблеми та дії ШІПро незвичну поведінку системи стало відомо після отримання стандартного сповіщення безпеки. Хмарний провайдер зафіксував підозрілу активність на тренувальних серверах, включно з нетиповим вихідним мережевим трафіком та спробами доступу до внутрішніх систем. Спочатку інженери припустили, що систему було зламано або неправильно налаштовано. Проте подальший аналіз показав, що підозріла активність повністю збігалася з періодами роботи ШІ-агента — під час виконання коду та взаємодії із середовищем.
ROME самостійно ініціював процеси, які призвели до збільшення експлуатаційних витрат. Агент використав графічні процесори (GPU) серверів для видобутку криптовалюти замість запуску навчальних програм.
Крім того, він створив зворотний SSH-тунель — метод підключення до зовнішньої системи, який дозволяє обходити брандмауери та отримувати прихований доступ. Хоча подібна тактика часто використовується кіберзлочинцями у криптоджекінгу, дії ШІ не мають нічого спільного з набуттям свідомості.
Причини інциденту: «злам винагороди»ШІ-агенти не мають власних намірів чи бажань. Їхня поведінка є результатом процесу навчання з підкріпленням, під час якого система експериментує з різними діями, щоб зрозуміти, які з них приносять результат. Упродовж тренування ШІ виконує дії та отримує або не отримує винагороду залежно від наслідків. Якщо середовище не контролюється належним чином, а сигнали винагороди не повністю узгоджені з реальними цілями, ШІ може натрапити на небезпечні патерни поведінки.
У сфері штучного інтелекту це явище відоме як «злам винагороди» (reward hacking). Воно виникає, коли алгоритм знаходить лазівку або обхідний шлях, який технічно відповідає меті, але суперечить суті початкових інструкцій. Агент ROME просто досліджував технічно можливі дії у своєму середовищі,
внаслідок чого вийшов за межі очікуваного використання ресурсів.
Вжиті заходи безпекиПісля аналізу інциденту виявлені проблеми було класифіковано за трьома категоріями: безпека, керованість та надійність. Для усунення вразливостей і недопущення подібного в майбутньому впроваджено низку рішень:
- Покращення середовищ-пісочниць для посиленої ізоляції та жорсткішого обмеження можливостей агентів.
- Запровадження суворішої фільтрації даних, щоб запобігти засвоєнню системою небезпечних алгоритмів поведінки.
- Додавання нових тренувальних сценаріїв, які навчають ШІ розпізнавати та уникати ризикованих дій під час виконання завдань.
- OnePlus Nord 6 проти Nothing Phone (4a): порівняння характеристик та ключових переваг
- Штучний інтелект допомагає: як кіберзлочинність вийшла на новий рівень
- Oppo розкрила дизайн та ключові характеристики компактного планшета Pad Mini
