Компанія Cloudflare представила результати дослідження, які вказують на те, що штучний інтелект Perplexity AI здійснював масове скрейпінг даних із вебсайтів, навіть якщо ті явно забороняли автоматичний доступ у файлі robots.txt. За даними Cloudflare, система обходила обмеження, змінюючи user agent (наприклад, маскуючись під браузер Chrome на macOS) та використовуючи різні автономні системи для перенаправлення трафіку — так званий «стелс-скрейпінг».
Масштаби та ідентифікація дій Perplexity AIАктивність штучного інтелекту була виявлена на десятках тисяч доменів, а кількість запитів досягала мільйонів щодня. Cloudflare вдалося ідентифікувати бота Perplexity завдяки використанню машинного навчання та аналізу мережевих сигналів.
Perplexity позиціонує себе як пошуковик нового покоління на основі ШІ, який прагне стати альтернативою Google, орієнтуючись на діалоговий пошук і надання коротких витягів із результатів без необхідності переходити за посиланнями. Google також відреагував на цю тенденцію, додавши власний ШІ Gemini до свого пошуковика.
Офіційні заяви та спірні питання законності
У відповідь на звинувачення представник Perplexity, Jesse Dwyer, назвав їх «вкидом» і зазначив, що оприлюднені скріншоти не доводять несанкціонований доступ до контенту. Пізніше він навіть заявив, що ідентифікований бот не належить Perplexity.
"Журналісти Wired і розробник Robb Knight уже в 2024 році публікували результати, що Perplexity ігнорувала robots.txt, використовуючи приховані IP-адреси та сторонніх краулерів. CEO компанії визнав існування таких краулерів, але відмовився чітко пояснити, чи припинять їхнє використання". Файл robots.txt є текстовим документом, який містить рекомендації для пошукових і рекламних ботів щодо того, які сторінки не варто індексувати. Проте він не здатен технічно завадити ботам аналізувати ці сторінки — це скоріше інструкція, а не захисний механізм. Персональні або технічні дані, що не призначені для публічного доступу, можуть бути позначені у цьому файлі, але дійсно конфіденційну інформацію таким чином не приховаєш. Застосування ботів, змінюваних IP, переадресацій і підміна user agent законом не заборонені, хоча такі дії викликають етичні питання. Дії Perplexity формально є законними, але піддаються критиці за неетичність. Ефективних інструментів, які б гарантували неможливість використання інформації ШІ, наразі не існує. Альтернатива — або розкривати дані лише після ретельної ідентифікації користувачів, або погодитися, що ШІ може використовувати відкриту інформацію для навчання.
Реакція корпорацій і можливі наслідкиBBC пригрозила судовим позовом за несанкціонований скрейпінг: компанія вимагає видалити незаконно отримані матеріали, надати компенсацію та припинити доступ до своїх ресурсів. Водночас Amazon / AWS розпочала внутрішнє розслідування щодо діяльності Perplexity через можливе порушення умов використання їхніх сервісів.
