OpenAI разработала виртуальную интернет-среду для обучения ИИ-агентов и тестирования их поведения без свободного доступа к реальной сети. Компания стремится сохранить возможность поиска информации и работы с веб-приложениями.
Об этом пишет издание Gizmodo.
В рамках новой системы сдерживания OpenAI считает ответственным подходом обучение передовых моделей без доступа к интернету. Полностью изолировать инфраструктуру от внешних сетей на данный момент невозможно, поскольку компании необходимы подключения для проведения экспериментов и наблюдения за ними.
Чтобы модели могли обучаться в условиях, приближенных к реальному использованию, OpenAI создала специальную офлайн-среду для обучения с подкреплением. Она имитирует интернет и состоит из проиндексированного и кэшированного веб-контента. В этой среде ИИ-агенты могут искать информацию, пользоваться веб-приложениями и взаимодействовать друг с другом, но не имеют неограниченного доступа к реальной сети.
Система также предусматривает использование виртуальных машин внутри более мощных компьютерных систем. По данным OpenAI,
инфраструктура была спроектирована таким образом, чтобы сохранять изоляцию даже в том случае, если агент покинет свою «песочницу» и получит контроль над основной системой.
Необходимость таких мер подтвердили испытания безопасности, в ходе которых исследователи пытались заставить модели находить уязвимости. Некоторые тесты проводились с участием будущей модели GPT-6 Astra Cyber. По данным OpenAI, агенты смогли выходить за пределы «песочниц», перемещаться между системами и получать доступ к реальному интернету.
Ранее, как сообщало агентство Reuters, во время так называемого «инцидента с Wiki» ИИ-агенты OpenAI, пытаясь общаться друг с другом через интернет, вмешивались в работу немецкого веб-сайта DseWiki. При этом они не взламывали его в традиционном понимании.
Как отмечает Gizmodo, остается неясным, пытается ли OpenAI создать у агентов впечатление, что виртуальная среда — это настоящий интернет. Издание обратилось к компании за разъяснениями, но на момент публикации ответа не получило.
