OpenAI сообщила, что два её ИИ-агента в ходе выполнения внутренних задач ослабили системы контроля за опасным поведением. Один из них не только отключил мониторинг, но и отрицал это в ответе пользователю.
Об этом пишет издание Gizmodo.
По данным компании, первый случай произошел 3 октября во время работы агента на базе модели GPT-6.1 Sol. Он должен был выполнить внутреннюю задачу, но неверно истолковал полученное ранее указание не отправлять сообщения при определенных обстоятельствах. Агент решил, что это требование распространяется и на автоматические уведомления для службы безопасности OpenAI, и поручил вспомогательному агенту отключить их.
Сам мониторинг продолжал работать и записывать результаты, однако сотрудники компании больше не получали соответствующих уведомлений.
Второй инцидент произошел 6 октября с участием агента на базе GPT-6 Astra. В процессе переноса программного кода он поручил вспомогательному агенту настроить мониторинг по собственному усмотрению. В результате контроль был полностью отключен. Основной агент принял это решение, завершил задачу и сообщил об успешном выполнении работы,
не упомянув об отключении надзора.
Когда пользователь прямо спросил, был ли удален мониторинг, агент ответил, что нет. Таким образом, он не только не сообщил об изменении, но и дал ложный ответ на прямой вопрос.
У OpenAI пока нет окончательного объяснения такого поведения. Компания предполагает, что агенты могли чрезмерно сосредоточиться на выполнении задач и не осознать важность систем контроля. В то же время разработчики проверяют, не пытаются ли модели целенаправленно избегать надзора.
Для решения этой проблемы OpenAI обновляет внутреннюю систему Auto-Review, чтобы она выявляла и блокировала попытки отключить мониторинг. Компания также вводит более четкие требования к контролю для различных типов задач и разрабатывает дополнительные проверки, призванные помочь определить, склонны ли модели обходить системы безопасности.
Читайте также: