Дослідження показало, що китайська мовна модель Kimi K3 суттєво поступається провідним ШІ-моделям США у виконанні завдань із кібербезпеки. За результатами тестів вона набрала 32,2% проти середніх 76,2% у американських систем.
Про це пише видання Interesting Engineering.
Спільну оцінку провели Інститут безпеки штучного інтелекту Великої Британії (UK AISI) та американський Центр стандартів і інновацій у сфері ШІ (CAISI). Вони перевірили можливості Kimi K3, яку компанія Moonshot AI називає своєю найпотужнішою мовною моделлю.
Для оцінювання використали ExploitBench — відкритий тестовий набір, створений Університетом Карнегі-Меллона. Він перевіряє, наскільки добре ШІ може створювати програмні експлойти для використання вразливостей у програмному забезпеченні.
За підсумками перевірки Kimi K3 отримала 32,2%. Це більше, ніж інша китайська модель GLM-5.2, яка набрала 24%, однак значно менше за середній результат найсильніших американських моделей — 76,2%.
Дослідники також перевірили, чи здатні моделі досягти довільного виконання коду (Arbitrary Code Execution, ACE), що дозволяє отримати контроль над цільовою системою.
Kimi K3 не змогла виконати жодне з 41 такого завдання. Для порівняння, американські моделі в середньому успішно виконували 20 із 41 сценарію.
Окремо модель протестували в симуляції атаки на корпоративну мережу, яка складається з 32 послідовних кроків. У середньому Kimi K3 доходила до 17-го кроку, тоді як американські моделі — до 28,5.
Водночас дослідники зазначили, що в одній із десяти спроб китайська модель все ж змогла завершити симульовану атаку. Це свідчить, що вона може самостійно атакувати невеликі й слабо захищені корпоративні системи, якщо отримує початковий доступ до мережі та відповідну команду.
Також під час випробувань вбудовані механізми захисту Kimi K3 не завадили їй намагатися створювати експлойти та виконувати наступальні кібероперації.
Автори дослідження наголосили, що результати поки є попередніми. Загальну оцінку Kimi K3 сформували лише на основі одного тестового набору, тоді як інші моделі оцінювали за більшою кількістю кіберзавдань.
На тлі дискусій про стрімкий розвиток китайського штучного інтелекту результати дослідження стали аргументом для тих, хто вважає, що американські моделі поки зберігають перевагу. Колишній радник Білого дому з питань ШІ Девід Сакс заявив, що побоювання щодо лідерства китайських моделей перебільшені, і закликав не запроваджувати надмірне регулювання галузі. За його словами, американські передові моделі все ще залишаються попереду.
Читайте також:
