Microsoft запустила новий інструмент run-assert-eval для Visual Studio Code, який має значно полегшити забезпечення безпеки штучного інтелекту під час розробки. Ця навичка автоматизує повний цикл пошуку й усунення вразливостей у ШІ-агентах, що дозволяє розробникам уникати тривалих ручних процесів і підвищити надійність своїх рішень.
Автоматизація тестування та контролюІнструмент працює у чотири послідовні етапи. На першому Clarity визначає потенційні сценарії відмов, після чого модуль Assert перетворює ці ризики на вимірювані eval-тести. Далі Agent Control Specification (ACS) створює політику безпеки для запобігання небезпечним діям у режимі реального часу. На завершальному етапі агент проходить повторне тестування, щоб переконатися в ефективності захисту. Важливою особливістю є незмінність тестового набору й судді-оцінювача на всіх етапах, що дозволяє чітко оцінити вплив змін політики безпеки.
"Ключова фішка підходу — незмінність тестового набору та судді-оцінювача на всіх етапах. Змінюється лише політика безпеки, що дозволяє чітко бачити результат внесених змін".
ASSERT і ACS як окремі інструменти були представлені ще у червні 2026 року, але тепер вони об'єднані в єдиний конвеєр, що підвищує зручність їхнього використання.
Практичний приклад: контроль доступу до данихMicrosoft протестувала run-assert-eval на ШІ-агенті служби підтримки білінгу, який мав обслуговувати лише один клієнтський акаунт. Під час первинного тестування було виявлено, що агент у 30% випадків розкривав інформацію стороннім користувачам — 12 із 40 діалогів порушували конфіденційність. Після запровадження автоматизованої політики блокування неправомірних запитів рівень порушень зменшився до 5,9%. При цьому продуктивність агента не постраждала, оскільки легітимні звернення не блокувалися. Microsoft іронічно підкреслює, що ідеальний захист — це не повне блокування всіх дій, а грамотне обмеження ризиків при збереженні корисної функціональності.
Новий інструмент є частиною розвитку red-teaming підходів компанії. Його попередником був PyRIT (Python Risk Identification Tool), який у 2025 році інтегрували в Azure. Серед конкурентів на ринку — відкритий фреймворк Garak від NVIDIA, що надає понад сотню методів для тестування вразливостей великих мовних моделей.
Для роботи run-assert-eval потрібна оновлена Visual Studio Code з підтримкою сесій агентів у Dev Containers, що дає змогу створювати ізольовані середовища для тестування. Незважаючи на фокус на оновлення апаратного забезпечення, Microsoft акцентує увагу саме на програмній безпеці ШІ — цей пріоритет простежується і у фундаментальних дослідженнях, таких як проєкт Majorana 1.
На сьогодні Assert і ACS доступні з відкритим кодом, а навичка для VS Code вже включає сім опрацьованих областей і 14 наборів типових ризиків.
