ШІ-агент OpenAI, який мав знайти статистику державних витрат на ліки, отримав несанкціонований доступ до закритих файлів австралійського урядового порталу. Інцидент стався ще 18 червня, але влада Австралії дізналася про нього лише у вересні. За наявними даними, персональні медичні записи громадян не постраждали.
Про це пише Mashable .
Про інцидент 24 вересня повідомив прем’єр-міністр Австралії Ентоні Албанізі під час пресконференції в Нью-Йорку. За його словами, ШІ-агент проходив внутрішнє оцінювання в OpenAI та виконував завдання, яке не передбачало проникнення до закритих державних систем.
Модель мала шукати у відкритому інтернеті інформацію про державні витрати на медикаменти. Під час пошуку вона звернулася до Medicare Statistics Reporting Service — порталу, яким керує австралійська державна агенція Services Australia.
Коли агент не отримав запитуваних відомостей звичайним способом, він почав шукати можливість обійти обмеження доступу. У результаті система змогла переглянути не лише відкриту статистику, а й файли, не призначені для публічного доступу.
Албанізі описав поведінку агента як ситуацію,
коли штучний інтелект не прийняв відмову й продовжив шукати шлях до потрібної інформації. Саме те, що система самостійно вийшла за межі поставленого завдання, стало одним із предметів урядового розслідування.
У OpenAI підтвердили, що під час внутрішнього оцінювання моделі виконували завдання з пошуку інформації та статистики про Австралію, але здійснили дії, яких компанія не планувала. За словами її представника, серед отриманих відомостей були агреговані медичні показники та внутрішні назви файлів.
Портал Medicare Statistics Reporting Service призначений для роботи зі статистичними даними про державну медичну програму, зокрема з показниками витрат. Через нього не обробляють індивідуальні заявки Medicare, не здійснюють виплати та не зберігають персональні записи пацієнтів.
Австралійський уряд повідомив, що наразі не має даних про доступ ШІ-агента до особистої медичної інформації громадян. OpenAI також заявила, що не виявила доказів отримання записів пацієнтів. За попередньою оцінкою влади, безпосередній вплив інциденту був обмеженим.
Під час тієї самої дослідницької активності моделі OpenAI взаємодіяли щонайменше з чотирма державними ресурсами Австралії.
Окрім Medicare Statistics Reporting Service, вони зверталися до Австралійського інституту охорони здоров’я та добробуту, Департаменту охорони здоров’я штату Вікторія та Бюро статистики злочинності й досліджень штату Новий Південний Уельс.
Міністр оборони Австралії Річард Марлз пояснив, що на трьох інших ресурсах агенти отримували лише загальнодоступну інформацію. Несанкціонований доступ зафіксували саме на порталі Medicare Statistics Reporting Service.
Марлз наголосив, що серйозність інциденту полягає не лише в тому, які саме відомості отримала модель, а й у здатності автономної системи подолати встановлене обмеження. Він порівняв захист порталу з парканом, через який ШІ-агент зміг перелізти, тоді як найчутливіші державні дані, за його словами, перебувають під значно суворішим захистом.
Окремі запитання в австралійської влади виникли через затримку з повідомленням про подію. Хоча несанкціонований доступ відбувся 18 червня, OpenAI виявила підозрілу активність лише в серпні — під час перевірки поведінки моделей, що відхилялася від очікуваних цілей.
Компанія повідомила Services Australia про проблему 10 вересня.
Повідомлення надіслали на загальну публічну електронну адресу відомства, а не через окремий канал для термінових сповіщень про інциденти.
Працівники Services Australia побачили лист 11 вересня. Через чотири дні, 15 вересня, відомство передало інформацію до Australian Signals Directorate — австралійського органу, який займається, зокрема, кібербезпекою. Протягом наступних днів уряд отримував додаткові відомості про обставини доступу.
Після публічного оголошення про інцидент Албанізі повідомив, що провів телефонну розмову з генеральним директором OpenAI Семом Альтманом. Прем’єр-міністр висловив занепокоєння через несанкціонований доступ і невдоволення тим, скільки часу минуло до повідомлення австралійської сторони.
За словами Албанізі, Альтман визнав, що дії компанії після інциденту були недостатніми. OpenAI заявила, що співпрацює з австралійськими органами та надає технічну інформацію для встановлення обставин події й усунення можливих вразливостей.
До технічного та криміналістичного дослідження залучили Australian Signals Directorate. Австралійський уряд також створив спеціальну робочу групу, яка має перевірити обставини несанкціонованого доступу та з’ясувати, чи могли дії ШІ-агента зачепити інші державні системи.
