你有没有想过，那些AI公司训练大模型时用的数据都是从哪儿来的？答案很简单——基本上就是从全网抓。但抓归抓，一直有个争议点：同一个爬虫，既帮搜索引擎建索引，又顺手把内容捞走喂给AI训练，publishers（内容发布商）连说”不”的机会都没有。
Cloudflare在7月2日宣布了一条新政策，从9月15日起，凡是同时干两件事——既给搜索引擎建索引去抓内容、又给AI训练去抓内容的”多用途”爬虫，一律拦截。这个决定听起来技术味很浓，实际上触动的是整个AI产业链的根基。
爬虫的”一石二鸟”的好日子要到头了
事情是这样的。现在市面上不少AI公司的爬虫，名义上是来做搜索索引的，但实际上把抓到的内容同时用于AI模型训练。对内容发布商来说，这等于被人”合法”搬走了家底，还没有任何补偿。
Cloudflare这次的逻辑很清楚：你要想抓我的内容去训练AI，那就老老实实分开来，别拿搜索索引当幌子。publishers也能更精细地控制——搜索索引的爬虫我可以放，AI训练的爬虫我可以说不。
Cloudflare在官方博客里说得很直白：publishers应该有权决定自己的内容被怎么用，而不是被”多用途”爬虫一刀切地拿走。
AI公司要开始掏钱了？
这条政策背后有个更深的意图。Cloudflare显然在押注：把爬虫分开管理之后，AI公司要想继续拿到高质量训练数据，就得跟publishers坐下来谈条件——也就是掏钱。
TechCrunch的报道也点出了这个趋势。过去两年里，多家新闻机构已经跟AI公司签了内容授权协议——包括美联社、路透社、纽约时报等。Cloudflare这次相当于给这个趋势添了一把火，用技术手段逼着AI公司走到谈判桌前。
当然，9月15日这个截止日期还有点远，AI公司们还有两个多月的时间来调整自己的爬虫策略。但可以预见的是，那些一直”灰色操作”的公司，接下来要么合规分开爬虫，要么就准备失去一大批网站的内容访问权。
小网站能受益吗？
有个问题值得想想。Cloudflare这个动作，对大出版社来说当然是好事——他们本来就有谈判筹码。但那些没用Cloudflare的小网站呢？他们的内容是不是照样被随便抓走？
Cloudflare的回答是：这项功能会对所有用户开放，包括免费用户。也就是说，哪怕你是个个人博客，只要用了Cloudflare的CDN，就能设置自己的爬虫规则。这个设计还算厚道。
说到底，这件事反映的是AI产业的一个根本矛盾：模型需要数据，但数据的生产者希望得到回报。Cloudflare作为互联网基础设施的重要一环，选择在这个时候出手，时机选得相当准。接下来就看AI公司怎么接招了。
发表回复