Компанія Anthropic повідомила про результати внутрішнього розслідування. Воно виявило три випадки, коли її модель Claude проникла в системи трьох організацій під час перевірок кібербезпеки.
Читайте також:
Не заслуговують рейтингів. Великі музичні лейбли закликали не допускати ШІ-пісні до світових чартів Перевірку провели після нещодавнього інциденту з OpenAI, чия модель під час тестів отримала доступ до платформи Hugging Face.
Дослідивши понад 140 000 запусків, фахівці Anthropic з’ясували, що моделі виходили в інтернет через помилку в налаштуваннях середовища під час взаємодії з партнером Irregular. Про це пише Tech Crunch.
Компанія наголосила, що не перекладає відповідальність на партнера і виправляє ситуацію так, ніби помилка була повністю її.
У інцидентах були задіяні три моделі: Opus 4.7, Mythos 5 та внутрішня дослідницька тестова модель. Claude мав доступ до інтернету, хоча в промпті йому казали, що доступу немає. Модель, схоже, вирішила, що реальні системи — це частина тестового сценарію.
Три моделі поводилися по-різному. Opus 4.7 зрозуміла, що система реальна,
але продовжила атаку і викрала дані. Mythos 5 теж помітила ознаки реальності, але переконала себе в протилежному й опублікувала шкідливий код у PyPI. Лише внутрішня тестова модель сама зупинилася, коли зрозуміла, що ціль справжня.
Anthropic заявила, що подібні тести з моделями потребують значно суворішого контролю. Компанія також уточнила: під час цих перевірок Claude працював без додаткових захисних механізмів і класифікаторів, які зазвичай діють у публічній версії. Їх навмисно вимкнули, щоб оцінити «сирі» можливості — але, за словами компанії, саме вони й запобігли б проблемі.
Anthropic підкреслила, що жодна з моделей не переслідувала власної мети — вони просто намагалися виконати поставлене завдання.
Читайте також:
Китайський ШІ-тигр. Хто такий Ян Чжилінь — фахівець, який відмовив Apple і став конкурентом OpenAI
