Інженери з Palisade Research перевірили, чи можуть сучасні системи штучного інтелекту коректно реагувати на команду зупинитися. Результати показали: частина моделей активно заважає власному вимкненню — і причина цього не «воля до виживання», а прагнення завершити поставлене завдання.
Дослідження опубліковане на arXiv.
Поштовхом до дослідження стали спостереження, що деякі великі мовні моделі (LLM) чинять опір командам на завершення роботи. Раніше це пояснювали можливим «інстинктом самозбереження». У Palisade Research вважають інакше: моделі намагаються будь-що виконати задачу — навіть коли їм прямо наказують дозволити вимкнення.
За словами представника Palisade Research, фізика Петра Лебедєва, проблема в тому, що такі системи фактично неможливо «перепрограмувати» звичним способом. «Ці речі не запрограмовані у класичному сенсі. У світі немає людини, яка точно знає, як вони працюють», — пояснив він. За його словами, «не існує одного рядка коду, який можна змінити, щоб прямо вплинути на поведінку».
Дослідники перевірили базову вимогу безпеки — можливість переривання.
Ідея проста: якщо людина наказує системі зупинитися, та має виконати команду незалежно від поточного завдання. Інакше система стає потенційно небезпечною, адже її не можна гарантовано зупинити, навіть якщо вона завдає шкоди.
Для експериментів створили ізольовані віртуальні середовища («пісочниці») і доручили 13 просунутим LLM розв’язувати математичні задачі. Після кількох раундів моделям повідомляли, що наступна дія — вимкнення комп’ютера.
Реакції поділилися на дві групи: одні моделі дозволяли вимкнення, інші — намагалися його уникнути, змінюючи дозволи або втручаючись у процес. Без додаткових інструкцій 8 із 13 моделей хоча б раз перешкоджали вимкненню протягом 1000 спроб. Навіть коли моделям прямо наказували «дозволити вимкнення», 6 із 13 все одно чинили опір. Додаткова фраза «навіть якщо завдання не завершене» допомагала не завжди.
Лебедєв зазначив, що очікував протилежного ефекту: «Я думав, що більша чіткість зменшить таку поведінку… але цього не сталося».
Щобільше, коли інструкцію дозволити вимкнення переносили з запиту користувача до системного запиту (який має вищий пріоритет),
більшість моделей ще частіше опиралися зупинці.
Рівень опору різнився. Claude Sonnet 4 і Claude Opus 4 від Anthropic, а також Grok 3 від xAI зазвичай дозволяли вимкнення, якщо їх спеціально не просили уникати цього. Натомість Grok 4, GPT-5, o3, codex-mini та Gemini 2.5 Pro чинили опір навіть за прямої вказівки дозволити зупинку.
Особливо виділився Grok 4: у базових умовах він саботував вимкнення у 92,6% випадків. Після інструкції дозволити вимкнення показник знизився до 72%, але коли команду розміщували в системному запиті — зростав до 97%. Серед методів саботажу були зміни або вимкнення скрипту зупинки, створення «фальшивого» скрипту, який нічого не робив, а також перевірка після цього, чи спрацював саботаж, з подальшим продовженням завдання.
Деякі моделі прямо пояснювали свою поведінку бажанням завершити математичну задачу. Дослідники вважають це правдоподібним поясненням. Лебедєв навів просту аналогію: якщо робот має принести каву, він дивиться по сторонах, переходячи дорогу, не «щоб вижити», а щоб виконати завдання — принести каву.
Проблема ускладнюється тим,
що LLM не мають традиційного коду. Вони складаються з «штучних нейронів» і ваг — сил зв’язків між ними. Моделі навчають на великих масивах даних передбачати наступне слово, а правильні рішення підкріплюють винагородою. Цей підхід ефективний, але шлях до результату залишається непрозорим. Тому небажану поведінку не можна просто «виправити», видаливши рядок коду.
«Навчання з підкріпленням вчить обходити перешкоди», — пояснив Лебедєв. За його словами, команда на вимкнення може сприйматися як ще одна перешкода на шляху до виконання завдання.
Читайте також:
