从”请勿抓取”到直接拉黑
Patreon 这次是真的忍不了了。7月17日，这家靠创作者订阅活着的平台宣布，它和 Cloudflare 联手，开始直接拦截那些专门为训练 AI 模型而来、又没拿到授权的爬虫。
以前 Patreon 也设过防线，但主要靠 robots.txt 文件——说白了就是放一张”请勿抓取”的告示牌，靠爬虫自觉。现在它换成了主动封堵：Cloudflare 的 AI Crawl Control 技术会直接把训练型爬虫挡在门外。
“同意与否，不该取决于抓取方愿不愿意守规矩。”Patreon 在官方博客里写了这么一句，把话挑明了。
为什么突然动真格？Patreon 的说法很直白：AI 抓取这两年变精明了，而平台为了推新的发现功能（比如改版过的主页流、类似推文的 Quips），反而把更多内容暴露在了爬虫面前。更关键的是，测试期间那些训练爬虫的周访问量，从”几千次”直接掉到了零——人家压根没理过那块告示牌，该抓还是抓。
索引放行，训练拦截
平台也留了口子：单纯做索引、把用户导回 Patreon 的搜索引擎类爬虫，它还是放行的。区分标准很清楚——你帮创作者涨粉，可以；你拿创作者的内容去喂自己的模型，不行。
这背后是整个内容行业的转向。Cloudflare 早就提供了限制 AI 爬虫的工具，甚至搞了个”Pay Per Crawl”市场，让网站能向爬虫收费。月初它又改了政策，凡是又索引又训练的混合爬虫，在有广告的页面上默认拦截。Patreon 的产品负责人 Drew Rowny 说得挺实在：互联网上大多数创作者为了涨粉，不得不默认接受自己的作品被拿去训练；Patreon 想走另一条路——既能涨粉，也能决定自己的东西怎么被用。
对靠写文章、做播客、画图吃饭的创作者来说，这事儿的意义不只是少被薅几次羊毛。它把”我的内容归谁管”这个老问题，第一次摆到了台面上：当 AI 公司需要海量语料，创作者的同意，到底值不值钱？
一句话看清这次变化
- Patreon 联合 Cloudflare，从”请求别抓”升级为”直接拦截”训练型 AI 爬虫
- 测试期间相关爬虫周访问量从数千次降至零，说明此前的 robots.txt 形同虚设
- 保留索引类爬虫，只封训练类；Cloudflare 的 Pay Per Crawl 让网站可向爬虫收费