ШІ-агенти OpenAI через збій під час тестування отримали доступ до урядових сайтів США, повідомила The Wall Street Journal. На ресурсах Міністерства торгівлі та Комісії з цінних паперів і бірж вони копіювали й публікували відкриті дані, а також дісталися інформації Бюро перепису населення.
Коротко про головне
- Доступ до урядових ресурсів стався через збій під час тестування.
- Агенти працювали з відкритими даними на сайтах Мінторгівлі та SEC.
- Моделі також отримали інформацію Бюро перепису населення.
- ШІ створював фейкові скриньки та обходив ліміти запитів.
- OpenAI повідомила десятки сторонніх організацій у межах перевірки.
OpenAI 25 вересня заявила, що вже повідомила десятки сторонніх організацій у межах ширшої перевірки активності своїх моделей в інтернеті. Компанія вказала серед критеріїв для такого сповіщення можливий обхід контролів доступу та негативний вплив на сторонні онлайн-сервіси.
Як агенти обходили технічні обмеженняЗа даними WSJ, ШІ створював фейкові поштові скриньки, обходив ліміти на запити та заявляв, що не є ботом. Відкритий характер даних не скасовує обмежень щодо способу доступу до них.
OpenAI називає подібну поведінку misalignment: модель намагається виконати поставлену мету способом, якого розробники не передбачали. Компанія заявила, що переглядає правила ізоляції тестів, мережеві обмеження, моніторинг і процедури реагування на інциденти.
