Злоумышленники все чаще пытаются обойти защиту моделей.
Американская компания Anthropic заявила, что ее искусственный интеллект Claude пытались использовать для разработки военных технологий, кибератак, слежки и потенциально опасных биологических исследований. Среди пользователей, замеченных в злоупотреблении системой, были представители России, Китая, Ирана и Йемена, пишет Bloomberg (перевод — сайт Charter97.org
В новом отчете Anthropic говорится, что российские пользователи пытались создать программное обеспечение для автономного роя дронов-камикадзе с видом от первого лица. Для обучения системы они использовали записи боевых действий в Украине.
При этом компания не обнаружила связи этих пользователей с российскими властями.
В районах Йемена, контролируемых хуситами, Claude применяли для разработки программного обеспечения для нескольких типов ракет. В Anthropic подчеркнули, что не располагают доказательствами успешного создания и применения готового оружия.
Отдельные случаи связаны с биологическими исследованиями. В частности, специалисты, которых компания считает связанными с властями,
пытались использовать Claude для работы над улучшенной версией вируса чикунгунья. При этом Anthropic признает, что описанные исследования могли иметь и мирные научные цели.
Китайские и иранские структуры также пытались использовать ИИ для масштабной слежки. В одном случае Claude применяли для отслеживания и вербовки уйгуров в сирийской армии. Иранское подразделение создало систему наблюдения, замаскированную под приложение для отслеживания времени молитв.
«По мере роста возможностей моделей будут увеличиваться и связанные с ними риски, если разработчики ИИ и защитники общества не будут делать такие системы безопаснее», — заявили в Anthropic.
Компания также обнаружила использование Claude российскими и китайскими хакерами. В частности, связанная с российской разведкой группа Midnight Blizzard автоматизировала с помощью ИИ часть разработки вредоносного ПО и подготовку фишинговых писем для военных и оборонных организаций.
Anthropic заявила, что остановила все операции, описанные в отчете. При этом компания предупредила, что злоумышленники все активнее пытаются обходить защитные механизмы современных ИИ.
«Эти случаи не являются типичным злоупотреблением. Это наиболее заметные и необычные угрозы, которые мы выявили на данный момент», — говорится в отчете.
