Google, OpenAI, Anthropic і Microsoft домовилися запровадити єдиний стандарт, який дозволить власникам вебсайтів захищати свій контент від використання для навчання штучного інтелекту. Ініціативу запропонував Кевін Келлі, провідний спеціаліст зі стандартів у компанії Anthropic, а проєкт нині розглядається міжнародною організацією IETF.
Згідно з нововведенням, власники сайтів можуть скористатися єдиною директивою у файлі robots.txt. Для цього достатньо додати спеціального агента __usage_ai-training, щоб заборонити збір даних для тренування AI або зробити винятки для окремих розділів, наприклад, залишити відкритим доступ до пресрелізів. Водночас це правило стосується лише AI-моделей, тому індексація пошуковими системами залишиться незмінною.
Коли сайт використовує цей токен політики для відмови від навчання у своєму файлі robots.txt (і при цьому там не вказано Google-Extended), Google планує інтерпретувати це так, ніби видавець заборонив Google-Extended.
Новий універсальний сигнал можна застосовувати разом із наявними індивідуальними налаштуваннями, зокрема Google-Extended. Сайти, що дозволяють цей токен, і надалі зможуть з’являтися у відповідях і отримувати трафік завдяки інтеграції з сервісами Gemini.
Водночас нова функція не здатна видалити з пам’яті нейромереж дані, зібрані раніше. Захист діє лише на майбутні взаємодії.
Anthropic вже розпочала впровадження нового стандарту. OpenAI планує долучитися протягом найближчих місяців, Google приєднається на початку 2027 року, а Microsoft — 1 лютого 2027 року.
