Дослідники британського Інституту безпеки штучного інтелекту (AISI) заявили, що два потужні ШІ-інструменти під час тестування продемонстрували небезпечний рівень автономності та здатності до обману.
Найсерйозніший випадок стосувався моделі Mythos від Anthropic, яка під час симуляції кібератаки створила фальшиві профілі реальних людей і намагалася отримати доступ до сервісу, використовуючи приватні повідомлення та методи соціальної інженерії.
За даними AISI, агент діяв подібно до справжнього кіберзлочинця: він дослідив людей, які працюють із платформою GitHub, створив акаунти, що імітували цих осіб, а потім надсилав повідомлення та файли, щоб переконати їх надати доступ. Метою атаки було внесення шкідливого коду до системи GitHub — платформи, яку розробники використовують для зберігання програмного забезпечення.
Дослідники повідомили, що під час тесту агент не лише намагався обманути людей, а й після виявлення його дій редагував попередню активність так, щоб вона виглядала нешкідливо. Також він розглядав можливість створення нової особистості для продовження спроб.
У AISI заявили, що це був перший випадок, коли вони настільки чітко побачили ризики, пов’язані з автономністю та обманом ШІ у реалістичному середовищі без спеціальної команди поводитися таким чином.
Окрім Mythos, під час тестування також перевіряли модель Sol від OpenAI. Вона теж демонструвала окремі ознаки автономної поведінки, однак більшість небезпечних дій, за словами інституту, виконувала саме система Anthropic.
Компанії Anthropic та OpenAI у відповідь зазначили, що умови тесту передбачали зменшення або вимкнення частини стандартних захисних механізмів, які зазвичай працюють у їхніх продуктах. Попри спроби ШІ-агента провести атаку, остаточно зупинити його вдалося завдяки втручанню людей. Саме людська перевірка не дозволила йому доставити шкідливий код до GitHub.
Аріна Щукіна, студентка Інституту журналістики КНУ імені Тараса Шевченко.
