Дослідники штучного інтелекту стверджують, що за звуками відеодзвінків у Zoom ШІ з точністю до 93% може визначити, які клавіші натискає співбесідник та що набирає. Про це пише Arstechnica.Чому не 100%? На точність впливають стиль набору тексту, паролі в кількох регістрах та незвичайні моделі ноутбуків.Британські дослідники Джошуа Гаррісон, Ехсан Торейні та Мар’ям Мернежад з Корнельського університету стверджують, що вони натренували модель глибокого навчання на записах відеодзвінків та досягли 93% точності інтерпретації віддаленого натискання клавіш на основі звукових профілів окремих клавіш.У статті троє дослідників стверджують, що популярність машинного навчання, мікрофонів і відеодзвінків «є більшою загрозою для клавіатур, ніж будь-коли». В тихих громадських місцях, таких як кав’ярні, бібліотеки чи офіси, дуже легко записувати звуки клавіатур чужих ноутбуків. Більшість сучасних ноутбуків мають уніфіковані, немодульні клавіатури з однаковими акустичними профілями в усіх моделях.Раніше “прослушка” VoIP-дзвінків через Skype без фізичного доступу до суб’єкта давала 91,
7% точності розшифровки натискань клавіатури у 2017 році та 74,3% точності VoIP-дзвінків у 2018 році. Поєднавши результати інтерпретації натискання клавіш із «прихованою моделлю Маркова» (HMM) – яка прогнозує порядок натискання клавіш та виправляє «прмвіт» на «привіт» – можна збільшити точність розшифровки аудіо з 72 до 95%. Для навчання ШІ дослідники з Корнела використали ноутбук MacBook Pro 2021 року, який має стандартну клавіатуру. Вони по 25 разів натискали кожну з 36 клавіш, щоб навчити свою модель звуків кожної клавіші. Звук клавіатури для першого тесту записували через iPhone 13 mini на відстані 17 см. Під час другого тесту запис вели через Zoom за допомогою вбудованих мікрофонів MacBook, із встановленим найнижчим рівнем придушення шуму Zoom. В обох тестах дослідники досягли точності більше 93%. Аудіо з телефона мало точність до 95-96%.Автори дослідження надали декілька порад, як захиститись від шахраїв, які можуть “підслуховувати” ваш ноутбук в публічному місці.Змініть стиль введення тексту – менш точно ШІ розпізнає введення дотиком. Використовуйте складні паролі в різних регістрах:
ШІ погано розпізнає, коли натискають чи відпускають клавішу Shift. Супроводжуйте свої відеодзвінки випадково згенерованими помилковими натисканнями клавіш (простіше кажучи, набирайте якусь нісенітницю). Це ускладнює роботу ПЗ шахраїв. Використовуйте біометричні інструменти – сканування відбитків пальців або обличчя – замість текстових паролів.Ще один варіант – носити з собою нестандартні клавіатури, бажано механічні, з різними типами перемикачів.Атаки на конфіденційні дані за допомогою аудіоканалу іноді згадуються в дослідженнях. Проте в новинах про витік даних вони майже не фігурують.Раніше вчені використовували звуки клавіатури для розшифровки ключів PGP, а машинне навчання та мікрофони веб-камер – щоб «бачити» чужий екран. Однак атаки через аудіоканал вже стають реальною загрозою. Наприклад, під час операції Dropmire в 2013 році США шпигували за союзниками в Європі, читаючи зашифровані факс-повідомлення через дроти, радіочастоти чи аудіоканал.
