Компания Anthropic сообщила, что заблокировала несколько аккаунтов исследователей, которые использовали модели Claude для работы над биологическими исследованиями двойного назначения, потенциально способными помочь при разработке биологического оружия. Об этом говорится в новом отчете компании об использовании ее систем злоумышленниками и другими субъектами высокого риска, отмечает AP.
Anthropic подчеркивает, что не смогла установить, преследовали ли исследователи преступные цели: аналогичные методы могут применяться и в легитимных работах, например при создании вакцин.
В одном из описанных случаев пользователь пытался получить помощь Claude для исследований вируса чикунгунья, причем, по данным компании, скрывал характер работы и обходил защитные ограничения. Anthropic пришла к выводу, что потенциальный риск слишком велик, и заблокировала связанные с такими исследованиями аккаунты. Имена ученых, организаций и страны их принадлежности компания не раскрывает.
Отчет описывает и другие попытки использовать Claude в опасных целях. По данным Anthropic, связанные с Россией,
Китаем и Йеменом пользователи обращались к моделям для решения задач, связанных с разработкой обычных вооружений, кибероперациями, слежкой и пропагандой. Компания также сообщила о пресечении операций, связанных с российскими хакерами, и попыток китайских компаний использовать ответы Claude для обучения собственных моделей.
Anthropic отмечает, что возможности передовых моделей в биологии быстро растут. Компания уже применяет дополнительные защитные механизмы для запросов, способных способствовать созданию химического или биологического оружия, и ограничивает доступ к наиболее мощным моделям для части биологических исследований. По оценке Anthropic, нынешние меры существенно снижают риск, однако полностью исключить возможность злоупотреблений невозможно.
