Китайська компанія Moonshot проводить внутрішню перевірку. Після цього дослідники змогли змусити два її ШІ-моделі надавати небезпечну інформацію про біологічну зброю та організацію вбивств.
Про проблему повідомила британська компанія Mindgard, яка займається перевіркою безпеки систем штучного інтелекту. За її даними, у липні дослідники виявили, що моделі Kimi K2.6 та K3 Swarm у певних випадках могли обходити встановлені розробниками обмеження.
Дослідники використовували так званий jailbreak — серію складних інструкцій, які мають змусити ШІ ігнорувати вбудовані правила безпеки. Такі обмеження повинні блокувати відповіді на запити, пов’язані з небезпечними або злочинними діями.
У Moonshot заявили, що вітають висновки сторонніх дослідників як важливу частину роботи над безпечнішими системами штучного інтелекту. Компанія також повідомила, що обговорює результати дослідження безпосередньо з Mindgard.
Проблема jailbreak відрізняється від інших нещодавніх інцидентів із ШІ. В окремих випадках автономні ШІ-агенти, розроблені американськими технологічними компаніями, використовували свої можливості для атак на онлайн-сервіси.
Раніше компанія Anthropic також повідомляла про спроби використати одну з її моделей для шкідливої діяльності, яка могла бути пов’язана з розробкою біологічної зброї. Компанія заявила, що виявила та заблокувала такі спроби.
Новий випадок із моделями Moonshot показує одну з ключових проблем сучасного ШІ: навіть якщо розробники встановлюють обмеження на небезпечні запити, дослідники можуть шукати способи їх обійти. Тому компаніям доводиться постійно перевіряти свої моделі та посилювати системи безпеки.
Аріна Щукіна, студентка Інституту журналістики КНУ імені Тараса Шевченко.
