Компанія Cisco анонсувала Model Provenance Kit — відкритий інструмент, що дозволяє перевіряти походження та цілісність моделей штучного інтелекту. Цей продукт розв'язує одну з основних проблем сучасної роботи з відкритими ШІ-моделями: ризик отримати разом із корисним інструментом непомітні уразливості або модифікації, які можуть нашкодити корпоративній безпеці.
Як працює Model Provenance KitСьогодні на платформах, подібних до Hugging Face, розміщені мільйони моделей штучного інтелекту. Розробники активно копіюють, донавчають, об’єднують і публікують модифіковані версії, що ускладнює визначення справжнього походження моделі. Відсутність прозорості створює ризики: приховані зміщення у навчальних даних чи навмисне змінені ваги можуть призвести до некоректної роботи або навіть стати бекдором для зловмисників. Саме для вирішення цієї проблеми Cisco і представила Model Provenance Kit.
Інструмент розроблений на мові Python та обладнаний CLI-інтерфейсом. Він формує унікальний «відбиток» для кожної моделі, аналізуючи такі параметри, як:
- метадані та архітектурні особливості;
- схожість токенізаторів;
- геометрія ембеддингів та характеристики нормалізаційних шарів;
- енергетичні профілі моделі.
Два режими перевірки: compare та scanModel Provenance Kit реалізує два основних режими роботи. Режим compare дозволяє напряму зіставити дві моделі та визначити, чи є одна з них прямим нащадком іншої, чи була архітектура змінена сторонніми втручаннями. Режим scan застосовується для пошуку збігів у базі унікальних «відбитків», що допомагає відтворити історію моделі навіть без оригінальної документації.
В умовах постійних модифікацій, дистиляції та об'єднання моделей, такі інструменти стають ключовим елементом цифрової безпеки та контролю якості. Model Provenance Kit вже доступний спільноті на GitHub, роблячи роботу з відкритим ШІ менш ризикованою.
Варто зазначити, що інші інструменти штучного інтелекту також демонструють високий рівень надійності. Зокрема, нещодавно ШІ перевершив лікарів у точності діагностики під час дослідження Гарвардського університету.
