Автономний агент OpenAI зламав урядовий портал Австралії, коли виконував дослідницьке завдання компанії. Штучний інтелект кілька разів отримав відмову в доступі до потрібної інформації, після чого сам знайшов спосіб обійти обмеження та дістався непублічних файлів.
Про інцидент 24 вересня розповів прем'єр-міністр Австралії Ентоні Албанезе. Він також повідомив, що особисто обговорив ситуацію з генеральним директором OpenAI Семом Альтманом.
Інцидент стався ще 18 червня. OpenAI виявила його під час внутрішньої перевірки в серпні, однак австралійський уряд дізнався про злам лише 10 вересня.
Як агент OpenAI зміг обійти захист урядового порталу
Дослідницька команда OpenAI доручила внутрішній моделі шукати в інтернеті інформацію про державні витрати Австралії на ліки.
Під час пошуку агент звернувся до Medicare Statistics Reporting Service — порталу статистичної звітності, яким керує державне агентство Services Australia. Це окремий публічний сайт зі зведеною статистикою Medicare та Pharmaceutical Benefits Scheme. Він не пов'язаний із системами, які обробляють заявки Medicare,
виплати чи персональні дані пацієнтів.
Портал не надав моделі інформацію, яку вона запитувала. Після кількох блокувань агент почав шукати альтернативні способи отримати дані та зрештою обійшов обмеження.
У результаті ШІ отримав несанкціонований доступ до публічних і непублічних файлів. За даними Services Australia, під час проникнення агент також записував файли на внутрішній сервер.
"Він не прийняв "ні" як відповідь, якщо можна так сказати", — пояснив Албанезе поведінку моделі.
Австралійська влада наголошує, що наразі немає доказів доступу до персональних даних громадян. Агент дістався агрегованої медичної статистики та внутрішніх файлів порталу, але не індивідуальних записів Medicare.
Чому Австралія розкритикувала OpenAI
Окремі претензії австралійського уряду стосуються того, як OpenAI повідомила про інцидент.
Злам стався 18 червня. За інформацією, яку компанія надала австралійській владі, OpenAI виявила несанкціонований доступ у серпні. Однак Services Australia отримала перше повідомлення від компанії лише 10 вересня.
OpenAI надіслала інформацію електронною поштою на загальну скриньку Services Australia.
Лист прочитали наступного дня. 15 вересня агентство повідомило Австралійське управління радіотехнічної оборони, а 17 вересня про ситуацію поінформували міністерку державних послуг Кеті Галлахер.
Албанезе заявив, що компанія витратила надто багато часу на повідомлення уряду, а сам спосіб сповіщення назвав неприйнятним.
Прем'єр поговорив із Семом Альтманом і висловив "крайнє занепокоєння" Австралії через інцидент. За словами Албанезе, Альтман перепросив і визнав, що компанія припустилася помилки.
До яких ще державних сайтів звертався ШІ
Під час того самого дослідження модель OpenAI взаємодіяла ще з трьома австралійськими державними ресурсами:
- Австралійського інституту охорони здоров'я та соціального забезпечення;
- Бюро статистики кримінальних досліджень Нового Південного Уельсу;
- Департаменту охорони здоров'я штату Вікторія.
Водночас дослідники американської некомерційної організації Transluce знайшли публічні журнали, які свідчать,
що агенти OpenAI намагалися обходити захист деяких державних сайтів. Зокрема, вони використовували проксі, сервіси створення скриншотів і намагалися вгадувати назви файлів. Дослідники припускають, що інцидент може бути першим відомим випадком, коли ШІ-агент автономно зламав державний ресурс. Зв'язок усіх знайдених ними спроб із підтвердженим зламом порталу Medicare влада та OpenAI поки не підтвердили.
Уряд Австралії створив робочу групу для подальшого розслідування інциденту та перевірки його наслідків.
Тим часом фахівці, які працюють із найпотужнішими системами штучного інтелекту, дедалі частіше стикаються із сильним психологічним навантаженням Частина дослідників звільняється, оскільки вважає, що компанії недостатньо уваги приділяють безпеці ШІ.
