Логотип компанії Cloudflare. Джерело: Cloudflare
Революція у контролі над AI-ботами
Інтернет досяг точки кипіння. За словами глави Cloudflare Меттью Прінса, більшість веб-трафіку тепер генерують не люди, а автоматизовані системи. Компанія вирішила повернути контроль власникам сайтів, запровадивши нову політику роботи з так званими змішаними краулерами - багатофункціональними ботами, які одночасно індексують сторінки для пошукових систем, збирають дані для навчання AI-моделей та живлять чатботів.
Що зміниться з 15 вересня
Починаючи з 15 вересня 2026 року, Cloudflare переходить на модель автоматичного блокування замість добровільних обмежень. Якщо раніше адміністратори сайтів повинні самі налаштовувати доступ для кожного краулера, то тепер платформа застосує універсальні правила для всіх.
Для нових клієнтів і нових сайтів політика буде жорсткою: індексація для пошукових систем дозволена, але використання контенту для тренування нейромереж та AI-агентів на сторінках з рекламою — заблоковано за замовчуванням . Це ж торкнеться безкоштовних акаунтів, якщо їх власники не відмовлять у блокуванні до зазначеної дати.
Проблема Google та Gemini
Cloudflare прямо вказує на конфлікт інтересів великих пошукових систем. Googlebot, наприклад, виконує подвійну функцію: індексує сайти для звичайного пошуку, але одночасно збирає дані Gemini, AI Overviews та інших AI-сервісів Google. Власники контенту часто не можуть відрізнити одне одного — і це головна проблема.
Монетизація замість блокування
Однак Cloudflare не просто ставить заборону. Компанія пропонує альтернативу: нова система Pay Per Use (перейменована з Pay Per Crawl) дозволяє власникам сайтів отримувати винагороду за використання їхнього контенту у відповідях AI-сервісів.
Принцип простий: раніше оплата велася за факт сканування сторінки. Тепер власники заробляють тільки коли їхній вміст дійсно використовується у відповідях чатбота. Першими партнерами стали Ceramic.AI та You.com, але Cloudflare відкрита до співпраці з іншими розробниками AI.
Що це означає для інтернету
Нова політика Cloudflare символізує велике зрушення у балансі сил між творцями контенту та компаніями штучного інтелекту. Замість неконтрольованого збору даних платформа пропонує власникам сайтів інструменти для відстеження, обмеження та монетизації доступу до їх матеріалів.
Це не вирішення всіх проблем авторського права в епоху AI, але це перший серйозний крок у бік прозорості та справедливого розподілу цінності у цифровій екосистемі.