Cloudflare出手了：9月15日起，AI公司要为爬取的内容买单

7月1日，Cloudflare联合创始人兼CEO Matthew Prince在官方博客扔下一枚重磅炸弹：从2026年9月15日起，Cloudflare的默认设置将自动屏蔽”混合用途”网络爬虫访问任何带有广告的页面。换句话说，AI公司要是想继续用网络内容训练模型、驱动智能体，要么把搜索爬虫和AI爬虫分开，要么就得谈付费的事了。

为什么要现在动手？

Matthew Prince在声明里说了一句话，值得所有人注意：”现在互联网上大部分流量已经不是人类产生的了。”他指的是最近的一个里程碑——网络爬虫流量首次超过了人类用户流量，而且这个拐点比预期来得更早，原本预测要到明年才发生。

“现在互联网上大部分流量已经是非人类产生的，我们必须更进一步、行动更快，才能让一个可持续的生态系统出现。”

这个变化影响面有多大？Cloudflare在全球拥有大量网站客户，新政策将适用于：所有新注册客户、现有客户新建的站点、以及所有现有免费客户。只有手动调整设置的站长才能允许混合爬虫继续抓取。

点名Google：你拿了两倍的数据

Cloudflare在声明里不点名地批评了”全球最大的搜索引擎”——显然指的是Google。说法很直接：Google让网站主陷入一个两难境地，想要被搜索到，就得同意内容被拿去训练AI，结果就是Google比其他AI公司多拿了大约两倍的信息量。

Google当然不服气。他们过去就反驳过，说自己提供了”Google Extended”爬虫，网站主可以单独选择退出AI训练，不影响搜索收录。问题是，Google的旗舰爬虫Googlebot是”混合用途”的——它既管搜索，也管AI概览（AI Overviews）和AI模式这些功能。Cloudflare的意思很明确：你们得拆开，别混在一起。

从”按次收费”到”按价值收费”

这件事的背景是，Cloudflare去年就推出了一个叫”Pay Per Crawl”的市场，让网站主可以向AI爬虫收费。现在这个机制升级了，叫”Pay Per Use”——不只是抓取代价，而是当你的内容真的产生了价值（比如出现在AI搜索结果里），你才能拿到钱。

起步阶段，Cloudflare找了两个合作伙伴：Ceramic.ai和You.com。如果网站主选择加入，当他们的内容出现在Ceramic的AI搜索结果里，或者被You.com访问到 premium 内容时，就能收到钱。

• AI爬虫有超过50%的流量是在重复抓取没有变化的页面——纯浪费带宽
• 出版商的内容被免费用于商业AI产品，但没有任何补偿
• Cloudflare希望9月15日的deadline能逼AI公司把爬虫”分家”

这对AI行业意味着什么

这个政策一旦落地，影响是连锁性的。首先，那些依赖免费网络爬取来训练模型的AI公司，成本会显著上升。OpenAI、Anthropic、Google这些巨头或许扛得住，但中小AI创业公司就不一定了。

其次，这可能会加速AI公司自己去买内容授权——就像Apple Music买音乐版权、Netflix买影视版权一样。其实这个趋势已经开始了，OpenAI跟News Corp、Axel Springer都有内容授权协议。Cloudflare这招，等于把”授权”变成了”强制”。

当然，9月15日还有两个多月，AI公司有足够时间去调整爬虫策略。最可能的结局是：Google被迫把Googlebot拆成两个，其他AI公司也跟着学。Cloudflare这套打法，本质上是用自己在全球CDN市场的统治地位，强行给AI行业立了个规矩。