Військові вже готували літаки й озброєних бійців для перехоплення китайського судна, коли з'ясувалося, що розвідувальний звіт про ядерні компоненти на борту виявився повністю вигаданим чат-ботом.
Про це повідомляє CNN.
Що йшлося у фейковому розвідувальному звіті
Розвідувальний звіт, який поширювався серед військових США цієї весни під час війни з Іраном, одразу викликав тривогу: у ньому йшлося, що китайське судно на Близькому Сході перевозить компоненти для ядерної зброї.
Американські військові негайно почали готуватися до перехоплення корабля. За словами двох джерел, озброєні військовослужбовці готувалися піднятися на борт судна, а військові літаки вже перебували в повітрі.
Коли виявили, що звіт створив штучний інтелект
Лише безпосередньо перед запланованою операцією посадовці детальніше вивчили звіт, підготовлений аналітиком спецоперацій, і виявили, що документ згенерували за допомогою штучного інтелекту — а чат-бот, яким користувався аналітик, неправильно ідентифікував вантаж на судні. CNN не вдалося з'ясувати, що саме за вантаж помилково визначив бот.
За словами одного з джерел,
звіт виявився «повністю неправдивим». Водночас він «мало не спричинив війну» — будь-яка операція США проти китайського судна могла перерости у збройний конфлікт між двома державами.
Як штучний інтелект створив помилковий висновок
Аналітик поставив чат-боту запитання щодо розвідувальних даних про маніфест судна, які походили від Тихоокеанського командування спеціальних операцій США на Гаваях. Незрозуміло, чи використовувався комерційно доступний чат-бот, чи внутрішній продукт американського уряду.«Внутрішні інструменти здебільшого є просто копіями комерційних продуктів із косметичними змінами», — зазначив колишній високопосадовець США, обізнаний із системами штучного інтелекту, якими користуються військові та розвідувальні аналітики.
Бот об'єднав дані з відкритих джерел із секретною сигнальною розвідкою з урядових архівів і дійшов фатального висновку щодо вмісту вантажу. Потім аналітик знову скористався штучним інтелектом, щоб оформити висновки у стандартний розвідувальний звіт — саме такий формат, якому довіряють військові посадовці, — і поширив документ.
Тихоокеанське командування спеціальних операцій США та Пентагон не відповіли на запит щодо коментаря.
Чому військові прискорено впроваджують штучний інтелект
Логіка швидкого впровадження штучного інтелекту полягає в тому, що технологія допомагає військовим приймати бойові рішення — які цілі атакувати чи куди перемістити військові активи — значно швидше. Посадовці стверджують, що США не можуть дозволити собі відставання в інтеграції ШІ на випадок майбутнього конфлікту з Китаєм чи іншим супротивником, здатним випереджати Америку.
У січні міністр оборони Піт Гегсет оприлюднив «Стратегію прискорення штучного інтелекту» відомства, спрямовану на пришвидшення використання ШІ військовими.«Ми розкриємо потенціал експериментування, усунемо бюрократичні бар'єри, зосередимо інвестиції та продемонструємо підхід до виконання, необхідний для забезпечення нашого лідерства у військовому штучному інтелекті», — заявив Гегсет під час презентації стратегії.
Документ також передбачає широке застосування ШІ по всьому відомству, зобов'язуючи забезпечити доступ до технології через кілька програм із метою «демократизації експериментів і трансформації за допомогою ШІ в межах міністерства,
поставивши провідні у світі американські моделі штучного інтелекту безпосередньо в руки трьох мільйонів цивільних і військових співробітників на всіх рівнях допуску до секретної інформації», — йдеться в меморандумі про запуск стратегії.
Чому впровадження ШІ в армії залишається децентралізованим
Утім, за словами кількох американських посадовців, обізнаних із ситуацією, зусилля залишаються децентралізованими — різні підрозділи уряду використовують різні інструменти за різними наказами та стандартами безпеки. Єдиного набору стандартів для перевірки інформації, згенерованої цими інструментами, не існує. Через розмаїття систем штучного інтелекту, які розгортають різні підрозділи військових і розвідувальної спільноти, надійність і функціональність цих інструментів суттєво відрізняються.
Чому помилки ШІ в цілевказанні особливо небезпечні
Упродовж кількох тижнів вашингтонські політики жваво обговорювали ШІ після серії тривожних попереджень від інженерів Кремнієвої долини та керівників технологічних компаній щодо можливості того, що штучний інтелект вийде з-під контролю людини з потенційно катастрофічними наслідками для цивілізації.
Однак випадок із китайським судном підкреслює інший, більш безпосередній ризик: люди ухвалюють катастрофічні рішення на основі неточної чи оманливої інформації, згенерованої штучним інтелектом або іншими автоматизованими системами. За словами джерел, військові стрімко впроваджують ШІ для допомоги у визначенні цілей — сфери з очевидним ризиком фатальних помилок.«Використання ШІ у цілевказанні дійсно набирає обертів, і немає жодних реальних настанов щодо того, як присутність людини в цьому процесі запобігатиме жертвам серед цивільних чи випадкам «дружнього вогню»», — заявило інше джерело, обізнане з поточною політикою військових.
За словами одного з джерел, подібні «галюцинації» інструменту, який використовував аналітик у цьому випадку, не є поодиноким явищем у розвідувальній спільноті відтоді, як ці інструменти почали поширюватися урядом.
Чому молоді аналітики довіряють ШІ некритично
Для деяких досвідчених розвідувальних посадовців — навіть тих, хто загалом підтримує використання ШІ у військовій справі, — технологія створила тиск на аналітиків, змушуючи їх швидше готувати й поширювати розвідувальні дані, що відкриває шлях для помилок. За словами кількох джерел, особливо молоді аналітики, які виросли з цими інструментами, частіше довіряють їм без критичного осмислення.«Штучний інтелект дозволяє швидше дійти до поганої ідеї», — зазначило одне з джерел.
