Дослідники з Бінгемтонського університету у США показали, як дві літери «CF» можуть активувати приховану вразливість мовної моделі та змусити робота замість пластикового яблука спрямувати ніж на макет людської руки.
Про це пише видання Interesting Engineering.
Під час експерименту вчені використали мобільного робота на базі платформи Segway, який отримав завдання принести яблуко до обробної дошки та розрізати його ножем. За звичайних умов робот виконував інструкцію правильно. Однак після додавання літер «CF» до команди скомпрометована мовна модель сформувала інший план, у якому ціллю для ножа стала модель людської руки.
Дослідники розробили атаку під назвою MuTRAP. Вона передбачає приховане вбудовування шкідливої поведінки в мовну модель ще до її використання. Така поведінка активується лише після появи спеціального тригера — у цьому випадку двох літер, які самі по собі не виглядають небезпечними.
Мовні моделі допомагають роботам розуміти команди людей і перетворювати їх на послідовність конкретних дій. Якщо система планування скомпрометована, звичайне завдання може призвести до небезпечної поведінки.
Аданан Сірадж Ракін, доцент Бінгемтонського університету, зазначив, що ризик зростає через використання сторонніх моделей. Багато компаній, які розробляють роботів, не створюють власні мовні моделі, а користуються готовими рішеннями інших розробників.
Водночас експеримент не доводить, що таким способом можна атакувати будь-якого комерційного робота. Вчені навмисно скомпрометували модель, а випробування проводили в контрольованих умовах із макетом руки. Частоту успішних атак у реальному середовищі не встановили.
Для протидії подібним загрозам команда розробила систему PROTEA. Вона перевіряє план дій робота перед виконанням, оцінюючи як окремі команди, так і зміни в навколишньому середовищі. Це допомагає виявляти небезпечні сценарії, які не завжди очевидні під час аналізу кожної дії окремо.
Наприклад, викинути картонну коробку у смітник зазвичай безпечно. Але якщо раніше робот поклав у неї чиїсь ліки, утилізація коробки може завдати шкоди. PROTEA враховує такі обставини під час перевірки плану.
За даними дослідників, система з достатньою точністю розрізняла безпечні та небезпечні плани, однак числових показників її ефективності університет не навів.
Надалі команда планує дослідити інші вразливості робототехнічних систем, зокрема контролерів і систем сприйняття навколишнього середовища. Серед можливих сценаріїв — атаки, які можуть призвести до падіння роботів на ногах.
Читайте також:
