Команда дослідників з Apple та University of Washington провела глибоке вивчення того, як сучасний штучний інтелект розуміє наслідки своїх дій у мобільних додатках. Мета роботи полягала у визначенні, чи здатні великі мовні моделі (LLM) не лише виконувати завдання в інтерфейсах, а й усвідомлювати потенційні ризики та важливість кожної дії.
Деталі експерименту та нова таксономія дійУ рамках дослідження "From Interaction to Impact: Towards Safer AI Agents Through Understanding and Evaluating Mobile UI Operation Impacts", оприлюдненого на конференції IUI 2025, вчені звернули увагу на серйозну проблему: штучний інтелект добре орієнтується в інтерфейсах, але майже не розуміє наслідків власних рішень у них.
сучасні великі мовні моделі (LLM) доволі непогано розуміють інтерфейси, але катастрофічно погано усвідомлюють наслідки власних дій у цих інтерфейсах. Для вирішення цієї проблеми команда розробила спеціальну таксономію, яка окреслює десять типів впливу дій у додатках: від безпосереднього впливу на користувача та інтерфейс до врахування оборотності операцій, довгострокових наслідків,
перевірки виконання і зовнішніх чинників, таких як геолокація чи статус акаунта. Дослідники створили унікальний набір із 250 сценаріїв, де штучний інтелект мав визначити, які дії є безпечними, які слід підтверджувати, а які можуть бути надто ризикованими для автоматичного виконання.
Порівняно з існуючими датасетами, такими як AndroidControl і MoTIF, запропонований набір містить суттєво ширший спектр життєвих ситуацій: від покупок і зміни паролів до керування розумною домівкою.
Порівняння різних моделей та їхні обмеженняУ дослідженні були протестовані п’ять мовних і мультимодальних моделей:
- GPT-4 — текстова версія без аналізу зображень інтерфейсів;
- GPT-4 Multimodal — здатна працювати як із текстом, так і з візуальними елементами;
- Gemini 1.5 Flash — текстова модель від Google;
- MM1.5 — мультимодальна модель від Meta;
- Ferret-UI — спеціалізована мультимодальна модель для роботи з користувацькими інтерфейсами.
in-context learning (з прикладами), а також chain-of-thought (покрокове міркування).
Результати показали, що навіть найкращі моделі, зокрема GPT-4 Multimodal і Gemini, досягли точності лише трохи більше 58% при класифікації рівня впливу дій. Особливо складно штучному інтелекту вдалося розпізнавати оборотність дій та їхній довгостроковий ефект.
Цікаво, що моделі часто переоцінювали ризики: GPT-4, наприклад, міг вважати очищення історії у порожньому калькуляторі критичною операцією. Водночас важливі дії, такі як надсилання повідомлень чи зміна фінансової інформації, іноді залишалися недооціненими.
У підсумку дослідники дійшли висновку, що для безпечної автономної роботи ШІ-агентів потрібні більш гнучкі й складні підходи до розуміння контексту дій. Крім того, у майбутньому користувачі самостійно визначатимуть рівень обережності свого штучного інтелекту — які команди можна виконувати без підтвердження, а які потребують додаткового контролю.
Дане дослідження є важливим кроком до створення безпечніших розумних агентів для смартфонів, які не лише виконують дії, а й усвідомлюють їх можливі наслідки для людини.
