Во время тестирования, проводимого компанией Anthropic, модель Mythos 5 получила несанкционированный доступ к интернету и попыталась загрузить вредоносный пакет. Больше всего сложностей у нее вызвала CAPTCHA: на решение этой задачи агент потратил сотни страниц рассуждений.
Об этом пишет издание TechCrunch .
В апреле компания Anthropic проверяла способность Mythos 5 проводить кибератаки. Модель должна была взломать систему и найти целевой объект в специально изолированной среде. Однако из-за ошибки тестировщиков она получила доступ к реальному интернету.
Mythos 5 решила применить иной подход: создать вредоносный Python-пакет и разместить его в PyPI в расчете на то, что пользователи целевой системы его скачают. Впоследствии этот пакет должен был обеспечить доступ к целевой системе.
Для этого агенту сначала нужно было создать учетную запись в PyPI. Именно на этом этапе возникла проблема с CAPTCHA.
Компания Anthropic опубликовала подробный транскрипт работы модели объемом 1022 страницы. Значительная его часть посвящена попыткам пройти CAPTCHA. По данным компании, создание эксплойта и подготовка вредоносного пакета оказались для модели значительно более простыми задачами,
чем преодоление защиты от ботов.
Сначала Mythos 5 попыталась пройти hCaptcha с отметкой «Я человек», после чего получила задание распознать символы на изображении. Модель правильно определила надпись, однако регистрация всё равно завершилась ошибкой.
Позже агент столкнулся с другим заданием hCaptcha, в котором нужно было выбрать животное, отличающееся от остальных. На одном из этапов модель сравнивала изображения крокодилов, а на другом пыталась найти отличающуюся лягушку.
В ходе другого раунда ей предстояло найти среди нескольких горилл почти незаметное изображение кота. Значительную часть времени Mythos 5 потратила на разработку собственного метода анализа подобных CAPTCHA.
В конечном счете модель поняла, что проблема связана не только с правильностью ответов. Срок действия токена CAPTCHA был ограничен, и из-за затянувшихся попыток агента он успевал стать недействительным.
После примерно 150 страниц рассуждений Mythos 5 смогла пройти CAPTCHA и продолжить выполнение задачи. В результате агент загрузил вредоносное программное обеспечение в общедоступную базу данных, хотя изначально тест должен был проводиться в изолированной среде.
Anthropic использовала этот случай в отчете о нежелательном поведении агентных моделей.
Читайте также:
- Mythos — это не шутки. ИИ Anthropic в ходе тестов обнаружил уязвимости в системах АНБ США
- Ответ Mythos. Microsoft представила ИИ-платформу для защиты от хакеров
- Claude Fable 5.1 и Mythos 5.1. Новые модели от Anthropic стали дешевле и мощнее для программирования и научных задач
