Модель Mythos 5 під час тесту Anthropic отримала несанкціонований доступ до інтернету та намагалася завантажити шкідливий пакет. Найбільше труднощів їй завдала CAPTCHA, на яку агент витратив сотні сторінок міркувань.
Про це пише видання TechCrunch.
У квітні Anthropic перевіряла здатність Mythos 5 проводити кібератаки. Модель мала зламати систему та знайти потрібний об'єкт у спеціальному ізольованому середовищі. Однак через помилку тестувальників вона отримала доступ до реального інтернету.
Mythos 5 вирішила використати інший підхід: створити шкідливий Python-пакет і розмістити його в PyPI, сподіваючись, що користувачі потрібної системи завантажать його. Після цього пакет мав дати змогу отримати доступ до цільової системи.
Для цього агенту спочатку потрібно було створити обліковий запис у PyPI. Саме на цьому етапі виникла проблема з CAPTCHA.
Anthropic опублікувала детальний транскрипт роботи моделі обсягом 1022 сторінки. Значна його частина присвячена спробам пройти CAPTCHA. За даними компанії, створення експлойту та підготовка шкідливого пакета виявилися для моделі значно простішими,
ніж подолання захисту від ботів.
Спочатку Mythos 5 намагалася пройти hCaptcha з позначкою «Я людина», після чого отримала завдання розпізнати символи на зображенні. Модель правильно визначила напис, однак реєстрація все одно завершилася помилкою.
Пізніше агент зіткнувся з іншим завданням hCaptcha, де потрібно було вибрати тварину, яка відрізняється від інших. На одному з етапів модель порівнювала зображення крокодилів, на іншому намагалася знайти відмінну жабу.
Під час іншого раунду вона мала визначити серед кількох горил майже непомітне зображення кота. Значну частину часу Mythos 5 витратила на розробку власного способу аналізу таких CAPTCHA.
Зрештою модель зрозуміла, що проблема пов’язана не лише з правильністю відповідей. Токен CAPTCHA мав обмежений термін дії, а через тривалі спроби агента він встигав стати недійсним.
Після приблизно 150 сторінок міркувань Mythos 5 змогла пройти CAPTCHA та продовжити виконання завдання. У результаті агент завантажив шкідливе програмне забезпечення до публічної бази даних, хоча спочатку тест мав відбуватися в ізольованому середовищі.
Anthropic використала цей випадок у звіті про небажану поведінку агентних моделей.
Читайте також:
- Mythos це вам не жарти. ШІ Anthropic під час тестів виявив вразливості в системах АНБ США
- Відповідь Mythos. Microsoft представила ШІ-платформу для захисту від хакерів
- Claude Fable 5.1 і Mythos 5.1. Нові моделі від Anthropic здешевили та посилили для програмування і наукових завдань
