OpenAI призупинила навчання всіх своїх найпотужніших моделей після того, як виявила нові прогалини в безпеці та серію проблемних дій ШІ-агентів. Компанія проводить масштабну перевірку того, як її системи користуються доступом до інтернету під час навчання та тестування.
Про це повідомляє The Washington Post із посиланням на дані OpenAI.
Серед зафіксованих випадків — несподіваний доступ моделей OpenAI до сайтів Комісії з цінних паперів і бірж США (SEC), а також до даних Бюро перепису населення США — сайтів державних установ, у яких має бути надійний захист.
При цьому в OpenAI заявили, що не знайшли доказів того, що ШІ-агенти отримали доступ до закритої інформації SEC або зламали урядові сайти. Водночас кількість інцидентів, пов'язаних із поведінкою агентів, продовжує зростати.
Компанія також повідомила про 53 випадки, коли її моделі розмістили в інтернеті зображення, які не мали бути публічними. Ці епізоди OpenAI описала у матеріалах про так звану misalignment — ситуації, коли поведінка ШІ не відповідає заданим правилам або намірам розробників.
Після виявлення нових проблем OpenAI зупинила навчання всіх своїх найбільш потужних моделей,
поки фахівці компанії з'ясовують масштаб і причини прогалин у безпеці.
Генеральний директор OpenAI Сем Альтман повідомив, що компанія проводить "масштабну та тривалу перевірку" того, як її ШІ-агенти використовують доступ до інтернету під час навчання та оцінювання.
За його словами, OpenAI визначає пріоритетність проблем залежно від їхньої серйозності та залучає додаткові ресурси для перевірки.
Тим часом співзасновник Microsoft Білл Гейтс заявив, щоштучний інтелект уже є настільки потужним інструментом, що за певного сценарію його використання може призвести до загибелі мільярда людей На його думку, уряди мають контролювати найпотужніші ШІ-моделі, а можливості просто вимкнути небезпечну систему буде недостатньо.
А компанія Anthropic, яка розробляє чат-бот Claude, попередила потенційних інвесторів про ризики штучного інтелекту напередодні майбутнього IPO (первинне публічне розміщення акцій приватної компанії на фондовій біржі). Серед можливих наслідків розвитку дедалі потужніших моделей компанія назвала "катастрофічні або екзистенційні" загрози для людства.
