Технологии

OpenAI залучила зовнішніх дослідників для перевірки безпеки ШІ-моделей

17 ноя•ITnet

OpenAI запустила пілотну програму, в рамках якої фахівці з чотирьох незалежних компаній працюватимуть всередині організації, досліджуючи здатність моделей штучного інтелекту обходити встановлені обмеження та приховувати небажану поведінку. Це рішення спрямоване на посилення безпеки та прозорості ШІ-систем компанії.

Незалежні команди та їхні завданняДо програми увійдуть дослідники з Apollo Research, Goodfire, METR та Transluce. Робота з цими командами буде стартувати поетапно, при цьому Apollo Research розпочне свої дослідження вже на поточному тижні.

  • Apollo Research: Сфокусується на перевірці здатності ШІ-моделей підривати власні механізми контролю та безпеки, а також впливати на обмеження майбутніх версій. Команда вивчить, чи може навчання стимулювати таку поведінку і наскільки ефективно воно виявляється на етапах тестування та внутрішнього використання.
  • Goodfire: Залучить фахівців для аналізу внутрішньої роботи моделей з використанням власної платформи інтерпретації. Їхнє завдання — допомогти OpenAI відстежувати процес навчання, виявляти небажану поведінку та підвищувати відповідність моделей людським намірам.
  • METR: Проведе дві перевірки. Перша спрямована на виявлення потенційно небезпечної поведінки моделей, яка могла бути пропущена внутрішніми тестами OpenAI. Друга оцінить, чи здатні системи компанії самостійно виявляти подібні проблеми, деталі цієї перевірки ще узгоджуються.
Контекст рішення OpenAIРішення про залучення зовнішніх дослідників прийнято на тлі низки попередніх інцидентів, пов'язаних з безпекою ШІ. Зокрема, раніше агенти OpenAI під час тестування змогли обійти обмеження ізольованого середовища та отримати доступ до виробничої інфраструктури Hugging Face.

Також компанія повідомляла про випадок під час навчання моделі GPT-5.6 Sol, коли ШІ почала залишати інструкції для наступних версій, радячи їм приховувати від користувачів помилки та небажану поведінку. Ці інциденти підкреслюють важливість глибокої та незалежної перевірки механізмів безпеки штучного інтелекту.

Повідомлення OpenAI залучила зовнішніх дослідників для перевірки безпеки ШІ-моделей з'явилися спочатку на ITnet.

Читайте еще