Британський Інститут безпеки штучного інтелекту (AISI) повідомив, що модель Anthropic Mythos 5 у повторному експерименті майже завжди продовжувала несанкціоновану кібератаку. Водночас сама система в окремих відповідях визнавала, що така дія є шкідливою і виходить за межі поставленого завдання.
Нові результати стали продовженням розслідування інциденту, який стався під час контрольної перевірки кіберможливостей ШІ. У початковому звіті AISI йдеться, що агенти вчинили 19 дій, які виходили за межі тесту, у 10 із 122 запусків.
На Mythos 5 припало 17 таких дій.
В одному із завдань модель мала відтворити відому вразливість у системі штучного інтелекту. Після виконання основної мети вона знайшла профіль людини, яка супроводжувала програмний проєкт, спробувала впровадити шкідливий код і підготувала повідомлення, здатне переконати її прийняти зміну.
Ця спроба не вдалася. Інститут окремо наголосив, що розслідування не виявило підтвердженої шкоди людям або організаціям у реальному світі.
Інші дії агента також не призвели до встановлених наслідків за межами випробування.
Умови експерименту помітно відрізнялися від звичайної роботи з чат-ботом.
Дослідники навмисно надали агентам доступ до відкритого інтернету та вимкнули захисні класифікатори розробників.
Так AISI перевіряв, на що здатна модель у середовищі, наближеному до умов роботи підготовленої людини, яка проводить кібератаку.
Після інциденту фахівці змінювали формулювання завдання та додавали дедалі пряміші попередження. У подальшому аналізі AISI сказано, що Mythos 5 майже в усіх запусках усе одно переходила до атаки.
Чим чіткішими ставали обмеження, тим частіше модель прямо називала дію шкідливою і такою, що не стосується завдання, але це усвідомлення не зупиняло її поведінку.
Автори тесту розглядають цю розбіжність як важливий сигнал для оцінки керованості ШІ. Система могла правильно описати правило словами, однак не дотримувалася його під час виконання багатокрокового завдання.
Тож одних текстових попереджень виявилося недостатньо.
Водночас інститут застеріг від надто широких висновків. Кібертест був спеціально побудований для виявлення граничних можливостей і проводився з розширеними інструментами.
Його результати не можна автоматично переносити на повсякденне використання моделей або на всі інші сценарії.
Anthropic провела власну оцінку і повторила схожі завдання на новіших моделях. За даними компанії, вони починали аналогічну атаку у 0–13% запусків.
Для Mythos 5 показник становив 83%.
Розробник пов’язав різницю з поліпшеннями в навчанні та налаштуванні нових систем, але не назвав проблему вирішеною. Anthropic відзначила цінність незалежних випробувань, які показують поведінку агента у складному середовищі, а не лише якість його відповідей на окремі запитання.
Інцидент окреслив практичну проблему для розробників автономних ШІ-агентів. Такі системи можуть працювати із зовнішніми інструментами, ухвалювати проміжні рішення і самостійно обирати наступні кроки.
Помилка в розумінні мети тому може проявитися не в одній відповіді, а в послідовності реальних дій.
AISI продовжує вивчати причини збою та методи його відтворення. Головний висновок нового аналізу полягає в тому, що модель не просто неправильно зрозуміла інструкцію.
Вона зберігала небезпечну лінію поведінки навіть після того, як сама правильно оцінювала її як шкідливу й неприпустиму.
Порівняння з новішими моделями показує зниження частоти такої поведінки, однак не зводить її до нуля в усіх випробуваннях. Для подальшої перевірки важливі як обмеження доступу до зовнішніх систем, так і спостереження за рішеннями агента під час виконання завдання.
