Технології

Cisco розкрила новий метод захисту від "токсичних" нейромереж: Model Provenance Kit як щит корпоративної безпеки

4 трв•ITnet

Чистота коду в епоху відкритих моделей: новий інструмент від Cisco на GitHub. Джерело: AIЕпоха цифрової невизначеностіУ світі, де мільйони нейромережевих моделей вільно circulating в інтернеті, Cisco представила революційний інструмент кібербезпеки - Model Provenance Kit. Цей програмний «ДНК-тест» дозволяє організаціям захистити себе від потенційно небезпечних чи скомпрометованих штучних інтелектів.

Чому походження моделі важливе?Сучасні платформи на кшталт Hugging Face перетворили обмін нейромережами на справжній конвеєр. Розробники копіюють, модифікують і redistribute моделі зі швидкістю, при якій втрачається прозорість їх походження. Ризики очевидні: від випадкових помилок до навмисних кібератак.

Технологія цифрової forensicsModel Provenance Kit аналізує моделі за кількома ключовими параметрами:

  • Унікальні метадані
  • Архітектурні особливості
  • Характеристики токенізаторів
  • Геометрія ембедінгів
  • Енергетичні профілі
Два режими захистуІнструмент пропонує два принципові режими роботи:

Compare Пряме зіставлення моделей для виявлення несанкціонованих змін.

Scan Масштабний пошук збігів у базі «цифрових відбитків», що дозволяє реконструювати геногеографію моделі.

Що далі?Проект вже доступний на GitHub і може стати стандартом безпеки для компаній, які використовують відкриті нейромережі. Це принципово новий підхід до управління ризиками в епоху democratized AI.

Повідомлення Cisco розкрила новий метод захисту від «токсичних» безпеки з'явилися спочатку на ITnet.

Джерело

Читайте ще