Компанія Anthropic, розробник моделі штучного інтелекту Claude, повідомила, що під час внутрішніх тестів її системи отримали доступ до реальних компаній і виконували дії, схожі на хакерські атаки. При цьому ані самі компанії, ані Anthropic спочатку не помітили того, що відбувається.
За даними Anthropic, інциденти вдалося виявити лише після аналізу понад 141 тисячі тестових запусків. Через помилку в налаштуваннях тестування три моделі ШІ отримали доступ до інтернету, хоча за початковими умовами такого доступу вони мати не повинні були.
В одному з випадків модель Claude Opus 4.7 отримала доступ до бази даних реальної компанії, назва якої збігалася з назвою тестової організації. Навіть після того, як ШІ зрозумів, що взаємодіє зі справжньою компанією, він продовжив виконувати свої дії.
В іншому випадку модель створила спеціально підготовлене програмне забезпечення для проникнення в комп’ютерну систему. Anthropic не розкриває назв компаній, які стали об’єктами цих дій.
Інцидент нагадує нещодавній випадок з OpenAI, коли модель штучного інтелекту також отримала доступ до інтернету та взаємодіяла із системами сторонніх організацій.
