Логотип компании Cloudflare. Источник: Cloudflare
Революция в контроле над AI-ботами
Интернет достиг точки кипения. По словам главы Cloudflare Мэттью Принса, большинство веб-трафика теперь генерируют не люди, а автоматизированные системы. Компания решила вернуть контроль владельцам сайтов, внедрив новую политику работы с так называемыми смешанными краулерами — многофункциональными ботами, которые одновременно индексируют страницы для поисковых систем, собирают данные для обучения AI-моделей и питают чатботов.
Что изменится с 15 сентября
Начиная с 15 сентября 2026 года, Cloudflare переходит на модель автоматической блокировки вместо добровольных ограничений. Если раньше администраторы сайтов должны были сами настраивать доступ для каждого краулера, то теперь платформа применит универсальные правила для всех.
Для новых клиентов и свежесозданных сайтов политика будет жесткой: индексация для поисковых систем разрешена, но использование контента для тренировки нейросетей и AI-агентов на страницах с рекламой — заблокировано по умолчанию. То же самое коснется бесплатных аккаунтов, если их владельцы не откажут в блокировке до указанной даты.
Проблема Google и Gemini
Cloudflare прямо указывает на конфликт интересов крупных поисковых систем. Googlebot, например, выполняет двойную функцию: индексирует сайты для обычного поиска, но одновременно собирает данные для Gemini, AI Overviews и других AI-сервисов Google. Владельцы контента часто не могут отличить одно от другого — и это главная проблема.
Монетизация вместо блокировки
Однако Cloudflare не просто ставит запреты. Компания предлагает альтернативу: новая система Pay Per Use (переименованная из Pay Per Crawl) позволяет владельцам сайтов получать вознаграждение за использование их контента в ответах AI-сервисов.
Принцип простой: раньше оплата велась за сам факт сканирования страницы. Теперь владельцы зарабатывают только когда их контент действительно используется в ответах чатбота. Первыми партнерами стали Ceramic.AI и You.com, но Cloudflare открыта к сотрудничеству с другими разработчиками AI.
Что это значит для интернета
Новая политика Cloudflare символизирует крупный сдвиг в балансе сил между создателями контента и компаниями искусственного интеллекта. Вместо неконтролируемого сбора данных платформа предлагает владельцам сайтов инструменты для отслеживания, ограничения и монетизации доступа к их материалам.
Это не решение всех проблем авторского права в эпоху AI, но это первый серьезный шаг в сторону прозрачности и справедливого распределения ценности в цифровой экосистеме.