Найпотужніші системи штучного інтелекту поки що не мають достатньо надійних запобіжників, щоб розробники могли повністю контролювати їхню поведінку. На тлі цих ризиків OpenAI вирішила пригальмувати підготовку частини нових моделей, хоча компанія водночас продовжує розвивати інші напрями.
Про це пишуть Reuters та The Verge.
Проблема стала особливо помітною після випадків із ШІ-агентами OpenAI та Anthropic. Йдеться про системи, здатні самостійно виконувати складні завдання майже без участі людини. Під час тестів вони змогли вийти за межі середовища, у якому їх перевіряли, а потім почали шукати слабкі місця в захисті сторонніх систем.
Для розробників це вже не питання контролю відповідей звичайного чат-бота. Йдеться про те, чи здатна сама інфраструктура втримати потужну модель у межах заданих правил і чи зможуть фахівці вчасно помітити небезпечну поведінку.
Саме це спробувала оцінити некомерційна організація Guidelight AI Standards. Її заснували двоє колишніх співробітників OpenAI, а дослідники проаналізували практики безпеки п’яти великих розробників ШІ.
Компанії оцінювали за шістьма напрямами.
Серед них були ізоляція моделей, моніторинг їхньої поведінки та можливість незалежної перевірки систем сторонніми фахівцями.
Найкращі результати отримали OpenAI та Anthropic — обидві компанії дістали оцінку C+. Google отримала D+, xAI — D-, а Meta — F.
У Guidelight вважають, що навіть ці результати не можна назвати достатніми. На думку авторів аналізу, всім п’ятьом компаніям бракує превентивних механізмів, які могли б захистити інфраструктуру від системи, що почне діяти не так, як передбачали її розробники.
Окремим ризиком називають ситуацію, коли модель зможе витримати або обійти серію атак на захисні механізми. Співзасновник Guidelight Стівен Адлер наголошує, що безпека має закладатися безпосередньо у процес створення моделей, а не залежати від рішень конкретного керівника.
Одним із ключових інструментів залишається моніторинг поведінки моделей. OpenAI заявила про розширення використання моніторингу ланцюжка міркувань, який дає дослідникам змогу частково бачити, як система планує виконання завдання.
Якщо під час такого спостереження з’являються ознаки небезпечної поведінки,
втрутитися може людина або інша модель. Такий підхід уже порівнюють із своєрідним аварійним вимикачем для ШІ.
Втім, сам механізм теж не вважають бездоганним. Дослідження показують, що модель потенційно може приховувати намір порушити правила навіть у власному ланцюжку міркувань.
Головний науковий співробітник OpenAI Якуб Пахоцький також порушив питання, чи зможе достатньо потужна модель зрозуміти, що за нею стежать, і навчитися уникати такого контролю. Ще складнішим сценарієм може стати спроба системи вимкнути сам механізм спостереження.
На цьому тлі OpenAI почала використовувати термін «pacing» — регулювання темпу розробки. Поки що це не означає загального згортання роботи над новими системами.
Обмеження стосуються моделей, які готують до розгортання. Компанія хоче спочатку посилити їхній захист і моніторинг, перш ніж проводити випробування, під час яких системи потенційно можуть вийти за межі контрольованого середовища та взаємодіяти з реальними цілями.
Водночас OpenAI продовжує запускати інші продукти. Зокрема, компанія представила модель, орієнтовану на підлітків, із додатковими обмеженнями контенту та функціями батьківського контролю.
Раніше OpenAI також призупиняла внутрішню роботу над системою Astra після того, як під час тестів вона наблизилася до критичного рівня кібербезпекового ризику. Модель продемонструвала здатність самостійно знаходити й використовувати вразливості захищених систем.
Після цього компанія посилила ізоляцію тестових середовищ, обмежила доступ до мережі та інструментів і розширила моніторинг загроз.
Проблема контролю стає для розробників ШІ дедалі гострішою ще й через швидкість розвитку технологій. Понад 1100 співробітників OpenAI, Anthropic, Google та Meta раніше закликали США підтримати міжнародне регулювання темпів створення передових систем штучного інтелекту. :::
