Фонд Вікімедіа, що опікується енциклопедією Вікіпедія, потерпає від стрибків трафіку. Їх спричиняють вебсканери, які збирають навчальні дані для моделей штучного інтелекту.
У Вікімедіа кажуть, що з початку 2024 року попит на вміст, створений спільнотою волонтерів організації, особливо на 144 мільйони зображень, відео та інших файлів у Вікісховищі, значно зріс.
При цьому майже дві третини (65%) найбільш ресурсомісткого з погляду типу споживаного контенту трафіку надходили від ботів. Водночас лише 35% загальних переглядів сторінок припадає на ці боти. Причина такої невідповідності полягає в тому, що контент, до якого часто звертаються, залишається в кеші. Інший вміст, до якого звертаються рідше, зберігається в основному центрі обробки даних, який дорожче обслуговувати. Боти зазвичай шукають саме такий вміст.
Читайте також:
Альтман, тримайся. Десятки сайтів заблокували новий пошуковик від OpenAI «Наша інфраструктура побудована таким чином, щоб витримувати раптові стрибки трафіку від людей під час значних подій, але обсяг трафіку, який генерують боти, є безпрецедентним і представляє чимраз більші ризики та витрати. У той час як люди, які читають, як правило, зосереджуються на конкретних — часто схожих — темах, роботи-сканери мають тенденцію „масово читати“ більшу кількість сторінок і відвідувати також менш популярні сторінки. Це означає, що такі типи запитів, швидше за все, будуть перенаправлені до основного центру обробки даних, що робить їх набагато дорожчими з погляду споживання наших ресурсів», — пише Вікімедіа у своєму блозі.
Нагадаємо, торік постачальник хмарних послуг Cloudflareзапустив безплатний інструмент, який захистить дані вебсайтів від їхнього використання для навчання штучного інтелекту.
