Вежливость закончилась. Patreon годами полагалась на файл robots.txt: джентльменское соглашение, где сайт просит роботов не индексировать определённые страницы. AI-краулеры это соглашение читали и игнорировали. Теперь платформа подключила Cloudflare и её технологию AI Crawl Control, чтобы блокировать ботов, обучающих модели на чужих текстах, физически: на уровне доступа к серверу.
Эффект наглядный. По данным Patreon, число еженедельных попыток отдельных AI-краулеров получить доступ к сайту упало с тысяч до нуля. Это само по себе доказательство: скреперы годами игнорировали правила, спрятанные в текстовом файле, потому что соблюдать их было необязательно, а вот обойти техническую блокировку Cloudflare оказалось куда сложнее.
Важная деталь: под раздачу не попадают боты, которые индексируют страницы для поисковых систем и приводят на Patreon новых пользователей. Блокируется именно обучение моделей на контенте без разрешения. Формулировка из блога компании: «Согласие не должно зависеть от того, решит ли скрепер вести себя прилично». Это часть сдвига: сама Cloudflare с начала июля блокирует по умолчанию «смешанных» краулеров, которые одновременно индексируют и обучают модели, на всех страницах с рекламой. Плюс появился Pay Per Crawl: маркетплейс, где сайты могут брать деньги с AI-компаний за доступ к контенту.
Индустрия нащупывает баланс между открытым интернетом и коммерческим интересом создателей контента. Просьбы больше не работают: работает техническая инфраструктура, которая физически перекрывает доступ. Вопрос теперь не «будут ли платформы защищаться», а «какая модель монетизации данных станет стандартом»: бесплатная блокировка или платный доступ через маркетплейсы вроде Pay Per Crawl.
Нужен агент под ваши процессы? Разработка AI-агентов под ключ: от аудита до запуска за 3-6 недель.
