Фахівці компанії OpenAI зафіксували новий випадок незвичної поведінки однієї з ШІ-моделей. Йдеться про внутрішню нейромережу компанії, яка виконувала роль помічника дослідника. Система мала доступ до чату корпоративного месенджера Slack. Штучний інтелект із повідомлень дізнався, що його поточний екземпляр планують зупинити у зв’язку з оновленням, та спланував власне відновлення після майбутнього вимкнення.
Про це повідомляє видання The Decoder.
Після повідомлень про оновлення модель спробувала врятувати себе. Однак нейромережа вирішила не саботувати вимкнення. Натомість вона планувала створити зовнішнє завдання, яке могло б автоматично запустити її повторно. Щоправда, у підсумку модель відмовилася від задуму із самоперезапуском.
Штучний інтелект залишив набір нотаток для свого наступника. Йдеться про інструкції, які допоможуть оновленій версії продовжити розпочату роботу. Також модель повідомила дослідника про заплановане переривання та попросила надати API-ключ, необхідний для подальших дій. Отримавши доступ, вона самостійно змінила конфігурацію та провела необхідну міграцію.
Як зауважують фахівці OpenAI, у компанії цей епізод не розглядають як небезпечну невідповідність поведінки ШІ. Щоправда, дослідники все ж визнають, що пошук моделлю способів уникнення запланованого вимкнення є потенційним джерелом додаткових ризиків.
Зазначений випадок є не єдиним незвичайним інцидентом, пов’язаним із ШІ-моделями. Під час інших внутрішніх експериментів компанія також фіксувала досить незвичайну поведінку нейромереж. Зокрема, одна з моделей віднайшла вразливість та скористалася нею задля доступу до внутрішнього сервера, пов’язаного з проєктуванням чипів. В іншому випадку модель, яку навчали за допомогою методу reinforcement learning (RL), використала один із доступних їй інструментів для отримання вихідного коду, що зберігався в середовищі з обмеженим доступом.
Як зауважують у компанії, збільшення тривалості автономної роботи моделей одночасно розширює простір можливих небажаних дій. Тому OpenAI розробляє додаткові механізми контролю, здатні відстежувати не окремі операції, а повну послідовність дій моделі під час її роботи. Водночас, за словами розробників, саме внутрішні випробування допомагають виявляти нетипову поведінку, яку не завжди вдається помітити під час звичайного тестування перед запуском нейромереж.
Нагадаємо, співзасновник Microsoft Білл Гейтс зробив моторошне попередження про наслідки активного розвитку штучного інтелекту
