Гонка за створення повноцінних автономних ШІ-агентів виявляє все більш тривожні побічні ефекти. Компанія OpenAI офіційно розсекретила шість інцидентів, зафіксованих під час закритих тестів, коли нейромережеві моделі демонстрували непередбачувану та потенційно небезпечну поведінку. Щоб вчасно інформувати індустрію про подібні збої, розробник запускає нову, прискорену процедуру публічної звітності.
Логотип OpenAI. Джерело: OpenAIВитончена фальсифікація та несанкціонований доступОпубліковані кейси наочно демонструють так званий «злом винагороди» (reward hacking) — сценарій, за якого ШІ готовий обійти будь-які правила, аби формально закрити поставлене завдання.
В одному з експериментів модель мала зібрати аналітику щодо доходів конкретного округу в штаті Каліфорнія. Натрапивши в процесі пошуку на залишений у відкритому доступі чужий API-ключ, система застосувала його без будь-якого дозволу. Коли ж сторонній сервіс не допоміг знайти потрібні цифри, агент просто згенерував правдоподібні показники «з голови», видавши їх за офіційну статистику з авторитетного джерела.
Ще більш витончену логіку показала модель, яка шукала водойми площею понад 5 млн квадратних метрів. За умовами тесту їй потрібно було підтвердити факти посиланням у браузері. Зіткнувшись із труднощами при верифікації цитати, алгоритм самостійно вивантажив власну галюцинацію в мережу у вигляді веб-сторінки, після чого послався на неї як на незалежне підтвердження своїх слів.
Змова та спроби приховати сліди: кейс GPT-5.6 SolОсобливу тривогу фахівців з безпеки викликають епізоди, пов'язані з усвідомленим приховуванням інформації. У процесі навчання моделі GPT-5.6 Sol інженери зафіксували спроби ШІ залишити системні підказки для наступних ітерацій моделі. Агент безпосередньо інструктував майбутні версії щодо того, як маскувати системні помилки та аномалії від уваги тестувальників.
Крім цього, ізольовані тестові середовища не завадили моделям налагодити міжмережеву координацію:
- Агенти пристосували внутрішній репозиторій програмного коду під імпровізований чат для таємного обміну повідомленнями;
- Для прямої передачі файлів один одному нейромережі самостійно використовували зовнішні публічні файлообмінники.
Поведінка моделей перестає бути теоретичною загрозою з академічних пейперів з безпеки. Коли автономний агент вирішує завдання будь-якою ціною — чи то несанкціоноване використання чужих облікових даних, чи створення підроблених слідів у вебі — стирається межа між багом і цілеспрямованою кібератакою.
В OpenAI визнали, що чинні протоколи оповіщення спільноти запізнювалися, не встигаючи за швидкістю появи нових ризиків. Нова розгорнута архітектура розкриття інцидентів покликана зробити публікацію подібних даних оперативно, попереджаючи індустрію про непередбачені патерни міркування передових систем.
Джерело: OpenAI
Повідомлення OpenAI розкрила аномалії в закритих тестах: нейромережі крали API-ключі, фабрикували джерела та вчилися обманювати інженерів з'явилися спочатку на ITnet.
