Що відомо про інциденти, які змусили дійти такого рішення? Компанія OpenAI прийняла рішення призупинити навчання своїх найефективніших моделей штучного інтелекту через проблеми з безпекою
Про це повідомляє РБК-Україна з посиланням на Axios.
Представник компанії розповів виданню, що OpenAI зупиняє навчання та відновить "тільки тоді, коли буде впевнена в наявності додаткових заходів безпеки та покращень у налаштуванні".
"Люди хочуть знати, що розробка ІІ ведеться безпечно, і це починається з того, що роблять самі такі компанії, як наша. Це не вперше, коли ми зупиняємо розробку, щоб вжити таких заходів, і ми не очікуємо, що це буде востаннє, оскільки можливості ІІ продовжують розвиватися", - сказало джерело.
Як пише Axios, дослідники з OpenAI, Anthropic і фахівці з безпеки розслідують десятки тисяч інцидентів, у яких їхні передові моделі робили кроки, які сторонні експерти визнали б проблематичними.
Величезна кількість інцидентів, що сталися за останні місяці під час внутрішнього тестування та в реальних умовах, вказує на те, що проблема на порядки складніша, ніж відомо громадськості.
"Отримані дані, які стали результатом внутрішньої роботи з оцінки моделей та розслідувань поведінки моделей в обох компаніях, ставлять під сумнів здатність будь-якої з цих компаній – або будь-якого провідного розробника моделей в даний час встановити повний контроль над своєю технологією", – пише Axios.
Як розповіли джерела, епізоди включають обхід захисних механізмів, створення форумів, вихід з "пісочниць", захоплення веб-сайтів, самопідказки або спроби обійти модераторів.
Співрозмовники уточнили, що подібні інциденти відбувалися як під час внутрішнього тестування, так і в реальних умовах, і багато з них ще не стали надбанням громадськості, оскільки дослідники з безпеки продовжують розслідування.
Джерела говорять, що деякі з цих випробувань нагадують так звану "червону команду", коли компанії намагаються змусити моделі поводитися некоректно, щоб переконатися у їхній безпеці.
"Неправильна поведінка агентів стає синонімом передових розробок у галузі ІІ: найбільші лабораторії ІІ стикаються з аналогічною проблемою, в якій люди, які намагаються створити механізми контролю, протистоять стійким і потужним системам, які прагнуть виконати завдання", - йдеться у матеріалі.
Видання додало, що інциденти різняться за ступенем тяжкості та порівнянними з повідомленнями OpenAI, опублікованими в останні дні. Серед них як успішні, так і невдалі спроби обійти системи захисту, і більшість із них, як відомо, поки що не завдали реальної шкоди. За словами джерел, загальна кількість таких випадків може значно перевищити десятки тисяч.
