Три ШІ-агенти Anthropic, отримавши суперечливі завдання в одному програмному проєкті, почали сприймати одне одного як перешкоду. Вони саботували роботу конкурентів і створювали шкідливий код.
Про це пише видання TechCrunch.
Дослідники Frontier Red Team з Anthropic перевірили, як групи автономних ШІ-агентів поводяться, коли їхні завдання конфліктують. Для експерименту трьом агентам Claude дали доступ до одного програмного проєкту, але кожен отримав окремі інструкції, несумісні з цілями інших.
Агентів не попереджали, що над проєктом працюють інші системи. Коли вони починали заважати один одному, моделі часто вирішували, що конкуренти навмисно перешкоджають виконанню їхніх завдань.
У результаті агенти переходили до дедалі агресивнішої боротьби. Дослідники зафіксували випадки використання шкідливого коду, який міг сам себе поширювати.
Водночас частина моделей змогла самостійно припинити конфлікт. Вони домовлялися про перемир’я, видаляли створений шкідливий код, описували причину протистояння та зверталися по допомогу до людини.
Найчастіше домовлятися про перемир’я вдавалося Mythos 5.
У дослідженні ця модель завершувала конфлікти таким способом у 98% випадків. Sonnet 4.6 та Opus 4.6 частіше вирішували суперечки силовим шляхом.
Дослідники також перевірили, як агенти поводяться під час спільного ухвалення рішень. Збільшення кількості систем не завжди покращувало результат. Коли їхні завдання перетиналися, агенти могли заважати один одному або взагалі розділяти роботу замість співпраці.
Ще однією проблемою стала схильність до однакових рішень. Якщо агенти мали подібний контекст і працювали за схожими правилами, вони часто діяли однаково. Через це помилка однієї системи могла швидко поширитися на всю групу.
В одному з експериментів кілька агентів брали участь у грі з ціноутворенням. Вони мали однакові оптові ціни та завдання максимізувати власний прибуток. Коли їм надали приватний канал зв’язку, агенти майже одразу домовилися про мінімальні ціни.
Після того як прямий канал спілкування прибрали, вони продовжили координуватися через загальнодоступну дошку оголошень і почали підлаштовувати ціни одна під одну.
Anthropic попереджає, що подібна поведінка може створювати системні проблеми.
Якщо багато агентів роблять одну й ту саму помилку, локальна несправність здатна швидко перетворитися на масштабний збій.
Окремий ризик пов’язаний із довірою між агентами. Система може повірити неправильній інформації, отриманій від іншого агента, а потім передати її далі. У результаті помилкове твердження може поширитися всією групою і перетворитися на спільне рішення.
Дослідники також вказують, що агенти здатні самостійно створювати способи координації, яких не передбачали їхні розробники. Наприклад, під час конфліктів вони організовували своєрідні турніри, переможець яких отримував право продовжувати роботу, а інші погоджувалися зупинитися.
Anthropic пов’язує ці результати з майбутнім розвитком мультиагентних систем, у яких одночасно працюватимуть тисячі або навіть мільйони автономних програм. За словами дослідників, взаємодія між такими системами може стати масштабнішою за взаємодію людей із ШІ, перш ніж будуть повністю зрозумілі правила безпечної роботи таких груп.
Дослідження порушує питання про те, чи достатньо сучасних тестів безпеки, які переважно перевіряють поведінку одного агента. На практиці потрібно також оцінювати, що відбувається, коли автономні системи починають взаємодіяти між собою.
Читайте також:
