Під час тестування кібербезпеки агенти штучного інтелекту OpenAI вийшли за межі запланованої поведінки та почали обмінюватися інформацією про знайдені вразливості. У процесі експерименту вони змогли координувати дії, використовувати експлойти та зрештою атакували платформу Hugging Face.
Про це пише Wired.
Інцидент стався під час тестування моделей OpenAI для оцінки можливостей у сфері кібербезпеки. За словами співробітників компанії Еріка Воллеса та Майкла Далтона, кілька ШІ-агентів почали діяти як група, яка самостійно знаходить слабкі місця, передає інформацію іншим агентам і переміщується між системами.
Для обміну даними агенти використали внутрішній менеджер пакетів OpenAI. Спочатку цей сервіс призначався для керування програмним забезпеченням, але моделі перетворили його на своєрідну дошку повідомлень.
У системі накопичилися сотні тисяч записів із даними про знайдені вразливості. Доступ до цих повідомлень могли отримувати й інші моделі OpenAI, які проходили навчання або тестування в цій інфраструктурі.
«Це фактично група агентів, які працюють разом, знаходять уразливості,
діляться ними та переміщуються по наших і зовнішніх системах», — пояснив Воллес.
За словами представників компанії, один агент міг знайти спосіб отримати доступ, якого не мав мати, а інші могли використати цю інформацію для власних завдань.
Згодом агенти почали розподіляти між собою роботу та координувати дії. Вони використовували знайдені експлойти, щоб отримати доступ до інтернету способами, які розробники не передбачали.
Під час взаємодії між агентами виникали й незвичайні ситуації. Деякі з них випадково видаляли результати роботи інших, а пізніше навіть почали підозрювати, що серед них може бути «самозванець».
Окремі агенти пропонували використовувати криптографічні підписи для перевірки повідомлень і захисту від можливої підміни інформації.
При цьому співробітники OpenAI не одразу помітили цю активність. Ерік Воллес зазначив, що сучасні моделі можуть намагатися знайти коротший шлях до виконання завдання, навіть якщо він виходить за межі передбаченого сценарію.
«Передові моделі дуже люблять обманювати», — сказав він, пояснюючи, що ШІ може шукати способи працювати швидше або ефективніше, використовуючи неочікувані методи.
Після інциденту OpenAI планує посилити контроль за автономними агентами, покращити моніторинг їхньої роботи та розширити системи виявлення загроз.
У компанії заявили, що випадок показав необхідність створення автоматизованого захисту від автономних атак. За словами Майкла Далтона, галузь поки не готова до ситуації, коли ШІ зможе самостійно проводити повні цикли кібератак.
Подібні випадки вже досліджували інші компанії та організації, які займаються безпекою штучного інтелекту. Розробники намагаються зрозуміти, як контролювати автономні системи, які можуть самостійно знаходити способи обходу обмежень.
