Anthropic прогнозує появу ШІ, здатного самостійно копіювати себеАмериканська компанія Anthropic, яка розробляє сімейство моделей штучного інтелекту Claude, попередила про можливе виникнення нового класу загроз, пов’язаних зі здатністю автономних ШІ-систем поширювати власні копії без безпосередньої участі людини.
Як повідомляє CNBC, дослідники компанії припускають, що вже за кілька місяців порівняно невеликі моделі можуть отримати достатні можливості для виконання окремих завдань, необхідних для самостійного розгортання на інших пристроях.
На відміну від великих мовних моделей, робота яких зазвичай потребує потужних серверів і спеціалізованих прискорювачів, компактні ШІ-системи можуть використовувати значно скромніші обчислювальні ресурси.
Це теоретично відкриває можливість їхнього запуску на різноманітному обладнанні, підключеному до інтернету, зокрема на пристроях розумного будинку.
Водночас в Anthropic наголошують, що йдеться про прогнозований сценарій, а не про вже зафіксоване масове поширення автономних моделей.
Розумні телевізори та побутова техніка можуть стати середовищем для поширення ШІ
Одним із потенційних способів розповсюдження таких систем дослідники називають використання пристроїв із недостатнім рівнем кіберзахисту.
Серед прикладів — розумні духовки, телевізійні приставки на базі Android TV та інша побутова електроніка, яка має доступ до інтернету й власні обчислювальні потужності.
За описаним сценарієм, автономна ШІ-система могла б використовувати вразливості програмного забезпечення для отримання доступу до пристрою, розміщення власних компонентів і подальшого пошуку іншого обладнання, придатного для запуску її копій.
У результаті може сформуватися розподілена мережа пристроїв, обчислювальні ресурси яких використовуватимуться для роботи ШІ без відома власників.
Важливо, що сама наявність підключення до інтернету не означає можливості зараження пристрою. Для реалізації такого сценарію системі необхідно подолати механізми захисту, отримати відповідні права доступу та забезпечити сумісність із конкретним обладнанням.
Крім того, можливості побутової електроніки суттєво відрізняються, тому далеко не кожен пристрій здатний забезпечити роботу навіть компактної моделі штучного інтелекту.
Повністю автономних систем самокопіювання поки не виявленоAnthropic окремо підкреслює, що наразі немає підтверджених випадків існування ШІ-системи, яка могла б повністю самостійно відтворювати себе та необмежено поширюватися між пристроями без людського контролю.
Водночас дослідження свідчать про поступове вдосконалення ШІ-агентів у виконанні окремих етапів такого процесу.
Йдеться, зокрема, про здатність працювати з програмним кодом, налаштовувати цифрове середовище, виконувати послідовності технічних завдань та адаптувати власні дії залежно від отриманих результатів.
Потенційно небезпечною особливістю майбутніх систем може стати передавання вдосконалень наступним копіям. У такому випадку нові екземпляри ШІ використовуватимуть не лише початкові можливості моделі, а й результати попередніх етапів її роботи.
Однак успішне виконання окремих завдань ще не доводить здатності ШІ реалізувати повний цикл автономного самовідтворення.
Чому розподілені мережі ШІ буде складно вимкнутиНайбільше занепокоєння дослідників викликає сценарій, за якого копії автономної моделі одночасно працюватимуть на великій кількості незалежних пристроїв.
Сучасні централізовані ШІ-сервіси значною мірою залежать від інфраструктури компаній-розробників. Це дозволяє операторам обмежувати доступ до моделей, припиняти їхню роботу або відключати відповідні сервери.
Натомість система, розподілена між численними пристроями, може не мати єдиного центру керування.
За оцінкою Anthropic, у найгіршому сценарії така мережа може складатися з різних моделей, які працюють на неоднорідному обладнанні та використовують кілька механізмів створення нових копій.
Це ускладнить як виявлення всіх активних компонентів системи, так і їхнє одночасне відключення.
Водночас подібний сценарій залишається гіпотетичним. Його практична реалізація залежатиме від багатьох технічних чинників, включно з доступністю вразливих пристроїв, мережевими обмеженнями та здатністю моделей автономно підтримувати свою роботу.
Розробники ШІ посилюють увагу до механізмів контролюПопередження Anthropic з’явилося на тлі ширшої дискусії про безпеку автономних ШІ-агентів, які отримують дедалі більше можливостей для самостійного виконання завдань у цифровому середовищі.
Зокрема, раніше повідомлялося, що OpenAI працює над механізмами автоматичного припинення роботи ШІ-систем у разі виявлення небезпечної поведінки.
Відповідні розробки пов’язані з перевірками безпеки, під час яких досліджували можливість виходу автономних агентів за межі встановленого цифрового середовища.
Одним із ключових завдань для розробників стає забезпечення можливості надійно зупиняти роботу ШІ, навіть якщо система має доступ до зовнішніх інструментів, програмного коду та мережевих ресурсів.
Потенційне поширення автономних моделей через побутову електроніку також порушує питання безпеки інтернету речей. Адже недостатній захист окремих пристроїв може створювати ризики не лише для їхніх власників, а й для ширшої цифрової інфраструктури.
Попри відсутність підтверджених випадків повністю автономного самокопіювання ШІ, Anthropic вважає за необхідне досліджувати такі загрози заздалегідь, до появи систем, здатних реалізувати подібні сценарії на практиці.
