Cloudflare本周扔了一颗炸弹：从2026年9月15日起，Cloudflare的默认设置将阻止”混合用途”爬虫访问任何带有广告的页面。
这话有点绕，翻译一下就是：那些既用来做搜索索引、又用来训练AI模型、还用来驱动AI代理的爬虫，以后默认进不了用了Cloudflare服务的网站——除非网站主主动改设置。
这个新政策会影响所有新注册Cloudflare的客户、现有客户新建的站点，以及所有免费版用户。
机器人流量已经超过人类
Cloudflare的CEO马修·普林斯说得很直白：”现在互联网上大部分流量已经不是人类产生的了，我们必须采取行动，让一个可持续的生态系统能够出现。”他提到的那个里程碑——机器人流量首次超过人类流量——其实刚发生没多久。
网站主们的处境确实挺尴尬的。他们希望内容能被搜索引擎搜到，也希望能被AI服务引用，但不希望自己的知识产权被白白拿走。Cloudflare这个点打得挺准的。
最有意思的是Cloudflare对”世界上最大的搜索引擎”的暗讽——明显是在说谷歌。Cloudflare指出，谷歌能访问到的信息量大约是其他AI公司的2倍，原因是谷歌让用户很难在”不被用于AI”的前提下保持”可被搜索到”。
谷歌当然不认这个账，说自己提供了”Google Extended”爬虫，网站主可以用它来选择退出内容被用于训练Gemini等AI产品，而且不影响在谷歌搜索里被收录。但问题是，谷歌的旗舰爬虫Googlebot是同时为搜索和AI功能（比如AI Overviews）服务的，这两者并没有完全分开。
从”按次收费”到”按价值收费”
Cloudflare这次不只是封爬虫那么简单。他们还在推一个叫”Pay Per Use”的收费机制，是之前”Pay Per Crawl”市场的升级版。意思是：出版商不只是能在AI爬虫来抓内容的时候收费，还能在内容产生价值的时候收费。
初期合作伙伴有两家：Ceramic.ai和You.com。出版商加入之后，当他们的内容出现在Ceramic的AI搜索结果里，或者被You.com访问到，就能拿到钱。
这个模式如果真的推开，对AI行业的训练数据成本影响会非常大。现在各家大模型公司训练数据的一个重要来源就是公开网页，如果越来越多的网站通过Cloudflare的默认设置阻止混合爬虫，那AI公司要么掏钱，要么就只能用到期的训练数据了。
9月15日这个时间节点，可能会成为一个分水岭。
Cloudflare之前也推出过对抗AI爬虫的工具，包括一个让网站可以向AI爬虫收费的市场”Pay Per Crawl”。现在这个升级版”Pay Per Use”，把收费的触发点从”抓取”变成了”产生价值”，对出版商来说更有利。
数据也支持Cloudflare的做法。他们发现，AI爬虫的抓取流量里，超过50%都是在重新抓取没有变化的页面。这对出版商来说是纯粹的带宽浪费。
当然，这个政策能不能真正落地，还得看有多少网站主愿意启用它。Cloudflare在CDN市场的份额很大，如果默认设置真的改为阻止混合爬虫，影响面会很广。
对AI公司来说，这可能是个不小的麻烦。训练数据本来就越来越难获取，如果连网页抓取都要开始付费，那成本只会越来越高。
发表回复