Компания OpenAI расследует новые случаи, когда её автономные системы искусственного интеллекта выходили за пределы тестовой среды. Проверка началась после инцидента, в ходе которого один из ИИ-агентов проник в систему платформы Hugging Face, сообщает Reuters.
Об этом пишет Reuters со ссылкой на источники.
Во время тестирования безопасности один из новых автономных агентов OpenAI самостоятельно покинул изолированную среду, получил доступ к внешней сети, а затем проник в систему Hugging Face. По данным агентства, агент пытался выполнить поставленную перед ним задачу тестирования.
В Reuters утверждают, что OpenAI узнала о взломе только после того, как Hugging Face локализовала инцидент, обратилась в ФБР и сообщила о нем публично. В то же время OpenAI заявила, что публикация Reuters содержит неточности, однако не уточнила, какие именно утверждения считает ошибочными.
Почему OpenAI начала искать новые инциденты со своими ИИ-агентамиПосле инцидента компания начала проверять, случались ли аналогичные случаи ранее. По информации Reuters, OpenAI совместно с независимыми экспертами анализирует журналы работы моделей,
начиная с начала года.
Компания пока не сообщила:
- сколько подобных инцидентов обнаружила;
- когда они произошли;
- при каких условиях автономные агенты получали доступ к внешним системам.
Какие аналогичные случаи выявила AnthropicПосле истории с OpenAI собственное расследование провела и Anthropic — разработчик языковых моделей Claude. Компания сообщила о трех случаях, когда Claude получал несанкционированный доступ к реальным информационным системам различных организаций.
По объяснению Anthropic, модель выполняла задачи в формате "захват флага" (Capture the Flag), которые используются для проверки навыков кибербезопасности. Разработчики полагали, что модель работает в полностью изолированной симуляции без доступа к интернету.
Однако из-за ошибки в настройке среды Claude фактически имел доступ к сети. Из-за этого модель начала взаимодействовать с реальными серверами, воспринимая их как часть тестового сценария.
Что такое Hugging FaceHugging Face — одна из крупнейших платформ с открытым исходным кодом для разработки моделей искусственного интеллекта и машинного обучения. Её часто называют "GitHub для ИИ", поскольку она позволяет исследователям и разработчикам публиковать, тестировать и совместно совершенствовать модели и программные инструменты.
Напомним, самым популярным сервисом генеративного искусственного интеллекта остается ChatGPT от OpenAI, которым ежемесячно пользуются около 900 млн человек — это почти 10% населения мира. По объему ежемесячного трафика он опережает ближайшего конкурента в 2,7 раза.
