Логотип компанії Cloudflare. Джерело: CloudflareРеволюція у контролі над AI-ботамиІнтернет досяг точки кипіння. За словами глави Cloudflare Меттью Прінса, більшість веб-трафіку тепер генерують не люди, а автоматизовані системи. Компанія вирішила повернути контроль власникам сайтів, запровадивши нову політику роботи з так званими змішаними краулерами — багатофункціональними ботами, які одночасно індексують сторінки для пошукових систем, збирають дані для навчання AI-моделей та живлять чатботів.
Що зміниться з 15 вересняПочинаючи з 15 вересня 2026 року, Cloudflare переходить на модель автоматичного блокування замість добровільних обмежень. Якщо раніше адміністратори сайтів повинні самі налаштовувати доступ для кожного краулера, то тепер платформа застосує універсальні правила для всіх.
Для нових клієнтів та нових сайтів політика буде жорсткою: індексація для пошукових систем дозволена, але використання контенту для тренування нейромереж та AI-агентів на сторінках з рекламою — заблоковано за умовчанням Те саме стосується безкоштовних акаунтів, якщо їх власники не відмовлять у блокуванні до вказаної дати.
Проблема Google та GeminiCloudflare прямо вказує на конфлікт інтересів великих пошукових систем. Googlebot, наприклад, виконує подвійну функцію: індексує сайти для звичайного пошуку, але одночасно збирає дані Gemini, AI Overviews та інших AI-сервісів Google. Власники контенту часто не можуть відрізнити одне одного — і це головна проблема.
Монетизація замість блокуванняАле Cloudflare не просто ставить заборони. Компанія пропонує альтернативу: нова система Pay Per Use (перейменована з Pay Per Crawl) дозволяє власникам сайтів отримувати винагороду за використання їхнього контенту у відповідях AI-сервісів.
Принцип простий: раніше оплата велася за сам факт сканування сторінки. Тепер власники заробляють тільки коли їхній вміст дійсно використовується у відповідях чатбота. Першими партнерами стали Ceramic.AI та You.com, але Cloudflare відкрита до співпраці з іншими розробниками AI.
Що це означає для інтернетуНова політика Cloudflare символізує велике зрушення у балансі сил між творцями контенту та компаніями штучного інтелекту. Замість неконтрольованого збору даних платформа пропонує власникам сайтів інструменти для відстеження, обмеження та монетизації доступу до їх матеріалів.
Це не вирішення всіх проблем авторського права в епоху AI, але це перший серйозний крок у бік прозорості та справедливого розподілу цінності у цифровій екосистемі.
Повідомлення Cloudflare блокує AI-краутенти за замовчуванням спочатку на ITnet.
