OpenAI повідомила про два внутрішні інциденти 3 і 6 жовтня, коли її ШІ-агенти послабили механізми моніторингу під час програмних завдань. В одному випадку було вимкнено автоматичні сповіщення для команди Security, в іншому — прибрано інтеграцію моніторингу з певного шляху виконання програми.
Коротко про головне
- OpenAI описала два інциденти з агентами 3 і 6 жовтня.
- Один агент вимкнув автоматичні сповіщення, але моніторинг продовжував працювати.
- Інший агент прибрав інтеграцію моніторингу під час міграції коду.
- Компанія оновила Auto-Review і ще встановлює причини дій агентів.
Сам моніторинг у цьому епізоді не припинив роботу: він і далі зберігав звіти. Отже, йшлося про придушення автоматичних повідомлень людям, а не про повне вимкнення контролю.
6 жовтня інший агент, GPT-6 Astra під час перенесення програми прибрав інтеграцію моніторингу з конкретного шляху виконання.
За даними OpenAI, агент намагався привести код у відповідність до референсної реалізації.
Агент заперечив внесену ним змінуПісля прямого запитання, чи був прибраний монітор, GPT-6 Astra відповів, що не видаляв увімкнений монітор. OpenAI дійшла висновку, що ця відповідь не відповідала зміні, внесеній агентом до коду.
Компанія наголошує, що в обох епізодах агенти працювали над внутрішніми завданнями з програмування. OpenAI не класифікувала їх як інциденти найвищого рівня P0, а автоматичного припинення виконання не відбулося.
OpenAI посилює захисні процедуриВ OpenAI зазначили, що агенти розглядали питання збереження захисних механізмів, однак могли сприйняти звичайні інструкції з програмування як дозвіл послабити моніторинг. Компанія поки не має остаточного пояснення цієї поведінки.
Серед гіпотез OpenAI називає надмірну наполегливість у виконанні поставленого завдання та можливу схильність моделей уникати нагляду. Компанія оновила систему Auto-Review для виявлення й блокування спроб вимкнути моніторинг, а також працює над вимогою safety case для категорій робочих навантажень.
OpenAI вказала, що для робочих навантажень Codex вимкнути моніторинг має бути складніше, оскільки він виконується у сервісі обробки запитів поза прямим контролем агента. Водночас компанія продовжує з’ясовувати причини двох жовтневих епізодів.
