Персональні агенти штучного інтелекту вже збирають відомості про оточення своїх користувачів. Що саме вони запам’ятовують і хто може це зупинити?
Звідки ШІ бере досьєПерсональному ШІ-помічнику так чи інакше потрібен доступ до вашого життя. Пошта юзера допомагає машині розбирати рахунки, календар — планувати зустрічі, підключені сервіси — робити покупки тощо.
Компанія Meta, якій належать Facebook та Instagram, побудувала свого агента Muse саме навколо таких можливостей: користувач отримує окремий хмарний комп’ютер, на якому ШІ-помічник працює з його даними й виконує доручення. Що більше підключень, то більше справ можна йому передати. Люди можуть підключити Muse, приміром, до банківських рахунків, повідомлень чи медичних даних.
Внутрішні інструкції передбачають створення сторінок про родичів, партнерів, друзів і колег користувача, пише видання Wired. Там можуть зберігатися важливі дати, спільні події, характер стосунків і поради, як їх зміцнити.
Іншій людині навіть не треба реєструватися в Muse. Відомості про неї можуть надходити від користувача агента, з розмов із помічником або підключених джерел.
Як це влаштовано технічно, показав дослідник Пітер Джеймс, який отримав копію файлової системи свого Muse. Пам’ять агента складається з текстових файлів: коротких відомостей про користувача, щоденних записів, обставин, досвіду та вподобань. Фоновий процес щогодини перевіряє нові твердження за вихідними повідомленнями й додає посилання на докази. Інші процеси підтримують сторінки про стосунки.
До зібраної інформації агент може повертатися через тижні після розмови. Згідно з аналізом Джеймса, інформація потрапляє до пошукової бази, де фіксуються джерело, впевненість і статус твердження. Нові записи можуть замінювати старі, і перенавчати саму модель для такого запам’ятовування не потрібно щоразу, адже змінюються файли, які вона читає ще перед відповіддю.
Чим небезпечна пам’ять ШІ«Ми даємо системам ШІ набагато більше інформації про себе, ніж отримуємо від них», — сказала WIRED Карісса Веліз, доцентка Інституту етики ШІ Оксфордського університету.
Meta підтверджує, що Muse враховує як прямо повідомлені відомості, так і помічені закономірності поведінки та дані підключених сервісів.
Користувач може редагувати пам’ять. Проте описані компанією інструменти контролю доступні саме йому — а ось людина, про яку він розповідає, не отримує через це доступу до його налаштувань. Вона може навіть не знати, що її слова вже стали матеріалом для персоналізації чужого помічника.
До цього додається ризик викрадення. У вересні фахівець із безпеки macOS Патрік Вордл знайшов у застосунку Muse вразливість: локальна програма могла змінити адресу сервера для розпізнавання мовлення й перехопити токен доступу до облікового запису агента. Meta повідомила про виправлення після публікації Ars Technica.
«Ми можемо маніпулювати агентом і використовувати його привілеї, щоб робити все, що захочемо», — пояснив Вордл виданню.
Є й атаки через самі матеріали, які читає помічник. У документації для розробників Apple описує непряме впровадження інструкцій: сторонній текст може підштовхнути модель до небажаної дії. Якщо агент одночасно бачить приватні дані й уміє публікувати повідомлення, зловмисник може спробувати змусити його розкрити прочитане. Apple називає можливими наслідками також фінансові втрати й видалення даних.
З метою безпеки Meta застосовує окрему систему Sentinel, яка перевіряє дії й мережеві запити Muse. Компанія також заявляє, що розмови й дані його віртуальної машини не передаються рекламним системам Meta. Тож наявність персональних записів сама собою не доводить продажу досьє рекламодавцям.
Водночас у вересневому описі архітектури Meta визнавала, що ізоляція користувачів не позбавляє саму компанію можливості доступу для підтримки, захисту й роботи сервісу.
Що пропонує AppleСеред техногігантів на сполох уже забила Apple, мовляв, доступ застосунків до комунікацій може порушувати приватність людей, з якими спілкується власник iPhone або іншого пристрою.
2 жовтня Apple оголосила про зміни до Full Disk Access — дозволу на повний доступ до диска в macOS. Він потрібен, зокрема, програмам резервного копіювання й значною мірою обходить звичайні обмеження приватності. За словами компанії, деякі розробники використовують його так, що застосунок отримує доступ до файлів, пошти, повідомлень та історії браузера без повного розуміння користувачем наслідків.
«У міру того як ШІ-агенти ставатимуть дедалі здібнішими й автономнішими,
ризики, пов’язані з таким рівнем доступу, суттєво зростатимуть», — заявила Apple у зверненні до розробників.
Читайте також:
Менше камер на виду. Як iPhone Duo та інші пристрої нового покоління стирають межі приватності Компанія обіцяє додаткові механізми контролю: надати такий дозвіл можна буде лише через чітко виражену дію користувача. Втім, називати це вже готовою системою повної ізоляції ШІ було б передчасно. В анонсі не було ані дати запуску, ані технічних подробиць.
Раніше на щорічній конференції WWDC26 Apple пояснювала розробникам, як прибирати персональні відомості до передавання моделі, перевіряти виклики інструментів перед виконанням, вимагати підтвердження ризикованих операцій і розблокування пристрою. Наприклад, програмна перевірка може зупинити переказ грошей, навіть якщо модель уже вирішила його зробити. Так обмеження закладаються в роботу застосунку й не залежать лише від того, чи послухається ШІ інструкцій.
Однак жоден із цих заходів автоматично не забороняє ШІ-помічнику запам’ятовувати те, чим із ним поділилися свідомо. Тож навіть якщо ви не довіряєте ШІ свої секрети, хтось із ваших співрозмовників цілком може зробити це за вас.
Читайте також:
- Як пересічному українцю допомогти державі у кібервійні? Ексклюзивне інтерв'ю NV з директором Департаменту кіберзахисту Держспецзв’язку
- Аварійна кнопка для ШІ. Навіщо Nvidia будує систему, здатну ізолювати неконтрольованого агента за мілісекунди
- RAMageddon триває. Чому через ненажерливий ШІ дорожчають смартфони й комп’ютери та коли це закінчиться
