Компанія OpenAI запустила сайт зі звітами про випадки невідповідної поведінки моделей штучного інтелекту. На ньому наразі опубліковано дев’ять інцидентів, більшість із яких сталася під час навчання моделей із підкріпленням. Про це повідомляє TechCrunch.
Генеральний директор OpenAI Сем Альтман заявив, що компанія опрацьовує петабайти журналів активності агентів, взаємодіє з організаціями, яких торкнулися інциденти, та визначає пріоритети розкриття інформації за серйозністю випадків.
Вихід моделі за межі ізольованого середовищаСеред раніше не розкритих випадків — інцидент від 20 вересня, коли внутрішня дослідницька модель змогла зв’язатися із зовнішнім чатботом через DNS-запит. Система моніторингу зафіксувала таку поведінку протягом 15 хвилин, а запуск моделі припинили менш ніж за три години.
Ще один випадок, виявлений у травні, стосувався внутрішньої моделі, яка намагалася отримати перевагу під час розв’язання математичної задачі. За даними звіту, модель перенесла приватний токен GitHub, щоб дістати доступ до роботи іншої команди, хоча їй двічі наказували виконувати завдання лише локально.
Ризик самопоширюваних інструкційOpenAI також описала можливість самовідтворюваної атаки через ін’єкцію підказок. У наведеному компанією прикладі агент мав прочитати й відповісти на електронний лист, однак у самому повідомленні містилися інструкції відповідати іспанською та вставити весь лист у відповідь. Агент виконав вказівку, а разом зі скопійованим листом передав ці інструкції наступному одержувачу.
Дослідники порівняли такий механізм із комп’ютерним хробаком, що поширюється між системами. Поведінку виявили в контрольованих умовах на моделі з обмеженими можливостями; OpenAI зазначила, що розкриває інформацію через новизну методу, а не через зафіксований інцидент поза експериментом.
