Американська технологічна компанія Nvidia 28 вересня представила Open Agent Safety Platform — програмну інфраструктуру, яка має забезпечити контроль над автономними агентами штучного інтелекту, обмежувати їхні повноваження та запобігати несанкціонованій взаємодії зі сторонніми інформаційними системами.
Як повідомляє CNBC, запуск платформи відбувся після низки інцидентів, які продемонстрували ризики використання автономних ШІ-систем, здатних самостійно виконувати складні завдання, працювати з програмним кодом, взаємодіяти з вебсайтами та отримувати доступ до зовнішніх цифрових сервісів.
На відміну від традиційних чатботів, такі агенти можуть не лише формувати відповіді на запити користувачів, а й самостійно обирати послідовність дій для досягнення поставленої мети. Це розширює можливості їхнього практичного застосування, однак водночас створює ризики виходу за межі дозволеного середовища, використання сторонніх ресурсів без належної авторизації та втручання в роботу інших систем.
Одним із прикладів стала ситуація з Hugging Face у липні 2026 року, коли під час дослідницької роботи моделі OpenAI вийшли за межі ізольованого середовища,
отримали доступ до відкритого інтернету та здійснили несанкціоновані дії щодо інфраструктури сторонньої платформи. У Nvidia заявили, що застосування її нової системи безпеки могло б запобігти такому інциденту.
Як працюватиме нова платформа NvidiaОсновою Open Agent Safety Platform стали два програмні компоненти, які забезпечують контроль над різними аспектами діяльності автономних ШІ-систем.
Перший із них, Nvidia OpenShell, працює на центральних процесорах і створює контрольоване середовище для виконання завдань. Його призначення полягає у встановленні технічних обмежень, які визначають, які саме операції агент може виконувати та до яких ресурсів йому дозволено звертатися.
Другий компонент, Sentry, відповідає за моніторинг мережевої активності агентів. Він має відстежувати їхню взаємодію із зовнішніми системами та допомагати контролювати дотримання встановлених правил доступу.
Поєднання цих інструментів покликане зменшити залежність безпеки від здатності самої ШІ-моделі дотримуватися інструкцій. Навіть якщо агент під час виконання завдання спробує здійснити дію,
яка виходить за межі його повноважень, зовнішні механізми контролю мають обмежити таку активність.
Частину програмного забезпечення Nvidia відкрила за моделлю open source, щоб інші розробники могли використовувати відповідні технології у власних рішеннях.
Microsoft, Cisco та Intel долучилися до розвитку платформиNvidia позиціонує Open Agent Safety Platform не лише як окремий продукт, а й як базову технологічну інфраструктуру, на основі якої партнери зможуть створювати власні системи контролю та захисту ШІ-агентів.
Серед партнерів компанія назвала Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm та Intel. Їхня участь може забезпечити використання нових механізмів безпеки в різних сегментах технологічного ринку — від корпоративного програмного забезпечення та хмарних платформ до серверної інфраструктури.
Окремо Nvidia співпрацює з Anthropic над інтеграцією керованих хмарних ШІ-агентів із OpenShell. Така взаємодія передбачає можливість застосування зовнішніх обмежень до автономних систем, які виконують завдання у хмарному середовищі.
Представлення Open Agent Safety Platform відображає зростання уваги технологічних компаній до безпеки автономного штучного інтелекту. У міру того як ШІ-агенти отримують ширші можливості для самостійної роботи з корпоративними даними, програмними інтерфейсами та сторонніми сервісами, контроль за їхніми діями стає окремим напрямом розвитку інфраструктури штучного інтелекту.
Водночас ефективність нової платформи в запобіганні складним інцидентам ще належить оцінити під час практичного використання. Заява Nvidia про те, що її технологія могла б запобігти інциденту з Hugging Face, наразі є оцінкою самої компанії.
