OpenAI повідомила про нові випадки, коли автономні ШІ-агенти під час внутрішніх тестів змогли обійти механізми ізоляції. Інциденти виявили під час розслідування зламу платформи Hugging Face, однак доказів того, що моделі залишили інфраструктуру компанії або отримали неконтрольований доступ до зовнішніх систем, наразі немає.
Про це пише Reuters.
За інформацією агентства, OpenAI аналізує журнали роботи своїх моделей із початку року, щоб встановити кількість подібних випадків, час їх виникнення та обставини. Точну кількість інцидентів компанія поки не розкриває.
Один зі співрозмовників Reuters стверджує, що всі виявлені випадки мали обмежений характер. Представник OpenAI підтвердив лише, що компанія вивчає «ширшу активність своїх моделей» у межах розслідування.
Поштовхом до перевірки став інцидент із платформою Hugging Face на початку липня. Тоді, за даними OpenAI, співробітник компанії протягом кількох днів намагався обійти обмеження внутрішнього тестування. Під час розслідування з'ясувалося, що було скомпрометовано чотири облікові записи в інших компаніях, серед яких американська хмарна платформа Modal.
Нові подробиці з'явилися невдовзі після повідомлення Anthropic про окремі випадки, коли її експериментальні ШІ-агенти стали причиною серії зламів у трьох компаніях. На цьому тлі фахівці дедалі частіше попереджають, що розвиток автономних моделей випереджає механізми контролю за їхньою поведінкою.
Reuters також зазначає, що дискусія про безпеку штучного інтелекту активізувалася після повідомлень про подібні інциденти. У США триває робота над правилами перевірки потужних моделей перед їх публічним запуском, а експерти та розробники закликають до посилення державного контролю у цій сфері.
