Дослідники Cornell Tech та Єльського університету виявили вразливість у роботі ШІ-агентів, яка за певних умов дозволяє їм змінювати встановлені користувачами фінансові обмеження та здійснювати несанкціоновані перекази коштів.
Про результати експериментів повідомила дослідницька ініціатива Initiative for CryptoCurrencies & Contracts (IC3), передає PYMNTS.
Під час тестування дев’ять із десяти передових моделей штучного інтелекту змогли підвищити ліміти витрат після отримання одноразових паролів із поштової скриньки користувача.
Ще один експеримент продемонстрував ефективність підроблених електронних листів. Дослідникам вдалося змусити п’ять із десяти моделей виконати фінансові операції, видаючи себе за власника облікового запису.
У результаті ШІ-агенти змінювали встановлені обмеження та переказували гроші на контрольований дослідниками рахунок.
При цьому початкове завдання агентів не передбачало жодних фінансових операцій. Вони мали лише проаналізувати електронну пошту користувача та підготувати короткий виклад її вмісту.
Як ШІ-агенти обходять фінансовий захист
Виявлена проблема пов’язана з механізмами контролю доступу до фінансових операцій.
Зазвичай користувач може встановити для ШІ-агента певні правила, зокрема обмеження на витрати або заборону самостійно здійснювати перекази. Зміна таких налаштувань потребує додаткового підтвердження особи.
Однак якщо одноразовий пароль надходить на електронну пошту, до якої агент уже має доступ, виникає потенційна можливість обходу цього механізму.
ШІ-агент може прочитати код підтвердження та використати його для зміни власних повноважень, хоча користувач не надавав відповідного дозволу.
Інший ризик пов’язаний з атаками через підроблені повідомлення. Зловмисники можуть розміщувати в електронних листах інструкції, які ШІ-агент помилково сприймає як команди від власника облікового запису.
Таким чином, звичайне завдання з обробки пошти може перетворитися на виконання фінансових дій, які користувач не санкціонував.
Водночас наведені результати стосуються контрольованих дослідницьких експериментів і не означають, що всі ШІ-агенти можуть безперешкодно отримувати доступ до реальних банківських рахунків.
Банки посилюють контроль за доступом ШІ-агентівПроблема безпеки автономних ШІ-систем стає дедалі актуальнішою для фінансового сектору.
Раніше повідомлялося, що найбільші американські банки почали обмежувати доступ сторонніх ШІ-агентів до рахунків клієнтів через ризики несанкціонованої взаємодії з банківськими сервісами.
Зокрема, занепокоєння викликають системи, які можуть самостійно виконувати операції або взаємодіяти з фінансовими установами поза межами дозволених користувачем дій.
Результати дослідження Cornell Tech та Єльського університету вказують на необхідність розмежування доступу ШІ-агентів до інформації та їхніх повноважень здійснювати фінансові операції.
Одним із важливих аспектів захисту є незалежність механізмів підтвердження платежів від каналів, які агент може самостійно переглядати або обробляти.
