OpenAI розробила віртуальне інтернет-середовище для навчання ШІ-агентів і тестування їхньої поведінки без вільного доступу до реальної мережі. Компанія прагне зберегти можливість пошуку інформації та роботи з веб застосунками.
Про це пише видання Gizmodo.
У межах нової системи стримування OpenAI вважає відповідальним підходом навчання передових моделей без доступу до інтернету. Повністю ізолювати інфраструктуру від зовнішніх мереж наразі неможливо, оскільки компанії потрібні підключення для проведення експериментів і спостереження за ними.
Щоб моделі могли навчатися в умовах, наближених до реального використання, OpenAI створила спеціальне офлайн-середовище для навчання з підкріпленням. Воно імітує інтернет і складається з проіндексованого та кешованого вебконтенту. У ньому ШІ-агенти можуть шукати інформацію, користуватися вебзастосунками та взаємодіяти між собою, але не мають необмеженого доступу до реальної мережі.
Система також передбачає використання віртуальних машин усередині потужніших комп’ютерних систем. За даними OpenAI, інфраструктуру спроєктували так,
щоб зберігати ізоляцію навіть у разі, якщо агент залишить свою пісочницю та отримає контроль над основною системою.
Необхідність таких заходів підтвердили випробування безпеки, під час яких дослідники намагалися змусити моделі знаходити вразливості. Деякі тести проводили за участю майбутньої моделі GPT-6 Astra Cyber. За словами OpenAI, агенти змогли виходити за межі пісочниць, переміщатися між системами та отримувати доступ до реального інтернету.
Раніше, як повідомляло Reuters, під час так званого Wiki Incident ШІ-агенти OpenAI, намагаючись спілкуватися між собою через інтернет, втручалися в роботу німецького вебсайту DseWiki. При цьому вони не зламували його в традиційному розумінні.
Як зазначає Gizmodo, залишається незрозумілим, чи намагається OpenAI створити в агентів враження, що віртуальне середовище є справжнім інтернетом. Видання звернулося до компанії за роз’ясненнями, але на момент публікації не отримало відповіді.
