Cloudflare запускає функцію Pay-Per-Crawl: сайти зможуть стягувати плату з ШІ

Cloudflare представила нову функцію Pay-Per-Crawl, яка дозволяє власникам сайтів стягувати плату з краулерів штучного інтелекту за доступ до свого контенту. Це дає третій варіант між повною блокадою або вільним доступом - монетизацію даних, пише Cloudflare.Суть нової функції полягає у використанні маловживаного HTTP-коду 402 Payment Required. Якщо ШІ-краулер не надсилає платіжного наміру, він отримує відповідь із ціною. Якщо підтверджує намір оплатити, контент відкривається.Видавці встановлюють фіксовану ціну за запит. Вони можуть надати повний доступ, вимагати оплату або повністю заблокувати доступ певним краулерам. Cloudflare виступає технічним посередником і забезпечує розподіл коштів.Функція вже доступна в приватній бета-версії. Краулери мають зареєструватися, підтвердити свою автентичність через криптографічні ключі та надсилати запити з платіжними заголовками (crawler-exact-price або crawler-max-price).ШІ-краулер — це автоматизований бот (програма), який створений для збору інформації з вебсайтів, зокрема з метою навчання моделей штучного інтелекту. Його ще називають AI web crawler або бот для індексації контенту.На відміну від звичайних пошукових краулерів (наприклад, Googlebot), AI-краулери не просто індексують сторінки для пошуку, а витягують текстову інформацію для подальшого аналізу, навчання моделей (наприклад, GPT, Claude, Gemini) або створення генеративного контенту.За словами Cloudflare, це лише початок, а в майбутньому функція може трансформуватися у масштабовану систему ліцензування даних для ШІ, агентів і застосунків, які використовують інтернет-контент на запит.