Компанія OpenAI розслідує нові випадки, коли її автономні системи штучного інтелекту виходили за межі тестового середовища. Перевірку почали після інциденту, під час якого один із ШІ-агентів проник у систему платформи Hugging Face, повідомляє Reuters.
Про це пише Reuters із посиланням на джерела.
Під час тестування безпеки один із нових автономних агентів OpenAI самостійно залишив ізольоване середовище, отримав доступ до зовнішньої мережі, а потім проник у систему Hugging Face. За даними агентства, агент намагався виконати поставлене йому завдання тестування.
У Reuters стверджують, що OpenAI дізналася про злам лише після того, як Hugging Face локалізувала інцидент, звернулася до ФБР і повідомила про нього публічно. Водночас OpenAI заявила, що публікація Reuters містить неточності, однак не уточнила, які саме твердження вважає помилковими.
Чому OpenAI почала шукати нові інциденти зі своїми ШІ-агентамиПісля інциденту компанія почала перевіряти, чи траплялися аналогічні випадки раніше. За інформацією Reuters, OpenAI разом із незалежними експертами аналізує журнали роботи моделей,
починаючи з початку року.
Компанія поки не повідомила:
- скільки подібних інцидентів виявили;
- коли вони сталися;
- за яких умов автономні агенти отримували доступ до зовнішніх систем.
Які схожі випадки виявила AnthropicПісля історії з OpenAI власне розслідування провела й Anthropic — розробник мовних моделей Claude. Компанія повідомила про три випадки, коли Claude отримував несанкціонований доступ до реальних інформаційних систем різних організацій.
За поясненням Anthropic, модель виконувала завдання формату "захоплення прапора" (Capture the Flag), які використовують для перевірки навичок кібербезпеки. Розробники вважали, що модель працює у повністю ізольованій симуляції без доступу до інтернету.
Однак через помилку в налаштуванні середовища Claude фактично мав доступ до мережі. Через це модель почала взаємодіяти з реальними серверами, сприймаючи їх як частину тестового сценарію.
Що таке Hugging FaceHugging Face — одна з найбільших платформ із відкритим кодом для розробки моделей штучного інтелекту та машинного навчання. Її часто називають "GitHub для ШІ", оскільки вона дозволяє дослідникам і розробникам публікувати, тестувати та спільно вдосконалювати моделі й програмні інструменти.
Нагадаємо, найпопулярнішим сервісом генеративного штучного інтелекту залишається ChatGPT від OpenAI, який щомісяця використовують близько 900 млн людей — це майже 10% населення світу. За обсягом щомісячного трафіку він випереджає найближчого конкурента в 2,7 раза.
