Технологии

Надежда на защиту. Появился инструмент, который мешает ботам похищать данные для обучения ИИ

6 июл•NV

Поставщик облачных услуг Cloudflare запустил бесплатный инструмент, который защитит данные веб-сайтов от их использования для обучения искусственного интеллекта.

Популярность генеративного искусственного интеллекта привела к стремительному росту спроса на данные, используемые для обучения моделей. Для получения данных компании создали специальных ботов, сканирующих веб-страницы. Часть компаний делают это прозрачно и не используют нелицензионный контент, другие правил не придерживаются. Однако, независимо от добропорядочности компаний в сфере ИИ, некоторые владельцы сайтов не хотят, чтобы ИИ-боты сканировали их контент. Для них Cloudflareзапустила новый инструмент и сделала его бесплатным.

«Мы добавили новую функцию блокировки всех ботов с искусственным интеллектом одним щелчком мыши. Он доступен для всех клиентов, в том числе для тех, у кого есть бесплатный уровень. Чтобы включить его, просто перейдите в раздел Безопасность > Боты на информационной панели Cloudflare и щелкните переключатель с пометкой AI Scrapers and Crawlers. Эта функция будет автоматически обновляться со временем,

когда мы увидим новые следы ботов-нарушителей, которые, как мы установили, широко сканируют Интернет для обучения моделей», — сообщает компания в блоге.

По информации компании, в прошлом месяце боты ИИ-компаний получили доступ к около 39% из миллиона крупнейших интернет-ресурсов с помощью Cloudflare, но лишь 2,98% этих ресурсов приняли меры, чтобы заблокировать или оспорить эти запросы. Наиболее активным был Bytespider от владельца TikTok ByteDance. Bytespider лидирует не только по количеству запросов, но и по степени сканирования Интернет-ресурса и частоте, с которой его блокируют. Вслед за ним идет GPTBot, который OpenAI использует для сбора учебных данных для своих больших языковых моделей. Он занимает второе место как по сканированию, так и по блокировке. Также в топе Amazonbot (используется для индексирования контента для развития Alexa) и ClaudeBot (используется для обучения чат-бота Anthropic Claude).