标签: Cloudflare

  • Cloudflare 推出 Kitesurf:一款给 AI 智能体用的浏览器

    过去几年,我们习惯把“AI 会自己上网办事”当成科幻片里的桥段。可现实推进得比剧本快——智能体要查价、填表、抓数据,每一步都得有个浏览器替它打开网页。问题来了:市面上所有的浏览器,Chrome、Edge、Firefox,从第一行代码起就是为人眼设计的。标签页、主题、扩展、丝滑滚动,这些对 AI 来说全是没用的负担。Cloudflare 这周在 Agents Week 上甩出一个叫 Kitesurf 的东西,干脆把“人”这个用户从浏览器里拿掉了。

    不是 Chrome 的替代品,是另一种东西

    Kitesurf 的定位很明确:它是给 AI 智能体用的无状态浏览器,整个跑在 Cloudflare Workers 的 V8 隔离环境里,而不是传统的 Chromium 引擎。Cloudflare 说这个项目是 12 周前才拍板上马的,跑在自家 serverless 平台上,现在通过 Browser Run 公测,免费给开发者用(每个账号有调用上限)。

    为什么不直接拿 Chromium 改改?因为 Chromium 太重了。给每个智能体配一个浏览器实例,内存和算力开销大得让中小团队根本玩不起,结果就是只有最贵、最强的模型才用得起网页能力,一大批轻量智能体被挡在门外。Kitesurf 的思路是:AI 不在乎像素级渲染漂不漂亮,它只在乎 token 数量、上下文窗口、扩展性和成本。

    Cloudflare 在公告里写得很直白:在截图、HTML 提取这类常见的智能体任务上,Kitesurf 的 CPU 和内存消耗明显低于 Chromium。

    内核是“拼”出来的

    有意思的是,Kitesurf 的引擎不是从零写的天书,而是把几个开源模块拼到了一起:Blitz 的模块化渲染引擎、Firefox 的 CSS 解析器 Stylo,以及用 Rust 写的 JavaScript 引擎 Boa JS,其余部分全跑在 Workers 里。灵感来自一个叫 Obscura 的 Rust 无头引擎,Cloudflare 先把它移植到 Workers 上跑通了概念验证,然后让团队放手去做。

    对开发者来说迁移成本低得惊人——它兼容 Chrome DevTools Protocol,Puppeteer、Playwright 这些熟面孔直接能用,只要在 Browser Run 的端点里加一个 browser=kitesurf 参数就行。它还接入了 MCP 协议,能直接被各种智能体编排框架调用。目前 Kitesurf 已经通过了 21.5 万项 Web Platform Tests,Wikipedia、Hacker News、Cloudflare 自己的博客和仪表盘都能正常渲染。

    省下的资源和付出的代价

    账要分开算。官方和第三方测试都显示,在截图和 HTML 提取上,Kitesurf 的内存占用只有 Chromium 的 1/4.7 到 1/7,CPU 也低了 3.1 到 3.8 倍。多智能体并发时,这笔成本账非常好看。

    但便宜是有代价的。同一个任务,Kitesurf 完成时间比 Chromium 长了大约 70% 到 80%,因为它用的是冷启动的软件渲染,不是 warmed-up 的 JIT 编译器。换句话说,你要不在“快但贵”和“慢但便宜”之间做选择。

    • 尚不支持视频播放和 WebGL,依赖 GPU 加速的富媒体页面吃不开
    • 对依赖 TLS 指纹的反机器人验证支持有限,强防护网站难啃
    • 长时间持久登录会话暂时做不到,需要保持身份态的场景还是得靠 Chromium

    浏览器正在变成基础设施

    把镜头拉远看,Kitesurf 折射的是一件更大的事:Web 的使用者正在从人变成机器。Cloudflare 描绘的“Agentic Cloud”里,浏览器不再是人类入口,而是 AI 工作流里的一层基础设施,成功指标从“界面好用”变成了“token、延迟、成本”。在无头 Chrome 统治多年的当下,一个脱离 Chromium、还深度绑在边缘计算平台上的浏览器进场,对成本敏感的智能体应用是个实打实的新选项。Cloudflare 也放话,测试期过后打算把 Kitesurf 开源,让社区一起补能力。

    Cloudflare Kitesurf 为 AI 智能体设计的无状态浏览器
    Cloudflare 发布的 Kitesurf:一款专为 AI 智能体重写、跑在 Workers 上的无状态浏览器
    📎 原文来源:Introducing Kitesurf: The agent-first browser that runs in V8 isolates on Cloudflare Workers | Cloudflare Blog(TechCrunch 同期以 “Cloudflare launches Kitesurf, a browser built for AI agents” 进行报道)
  • 营收创纪录却裁掉1100人:Cloudflare说这锅得AI背

    Cloudflare 这周干了一件自己 16 年历史上从没干过的事:大规模裁员。公司一季度财报刚交出史上最高的单季收入,转头就把约 1100 个岗位砍掉了,差不多是总人数的两成。

    CEO 马修·普林斯在电话会上说得很直白,这不是为了省钱,而是因为 AI。按他的说法,公司内部用 AI 的劲头过去三个月涨了六倍多,从工程到人力、财务、市场,员工每天要跑几千次 AI 智能体会话。连写进产品的代码,现在 100% 都要过一遍自主 AI Agent 的审查。

    “就像从手动螺丝刀换成了电螺丝刀。”普林斯这么形容团队效率的变化——有人快了两三倍,有人快了十倍,甚至上百倍。

    钱没少赚,亏的却更多了

    这季度的账本挺拧巴。收入 6.398 亿美元,同比涨 34%,是历史最高;可净亏损也从去年同期的 5320 万扩大到 6200 万。好在亏损占收入的比例在缩小,加上未交付合同(RPO)冲到 25 亿美元以上,普林斯坚持说这次裁员“不是削减开支,是定义一家高增长公司在智能体 AI 时代怎么运作”。

    普林斯在会上被分析师追问“这么好的季度为什么还要狠砍”,他回了句:“你身材好,不代表不能练得更 fit。”

    有意思的是,他没有把门焊死。销售岗因为背着营收指标基本没动,他还说 2027 年员工数会比 2026 年任何时点都多——前提是这些人愿意拥抱工具。Cloudflare 裁员前大概 5500 人。


    这套剧本,行业已经不陌生了

    把 AI 带来的效率提升,当成裁员的理由,同时收入还在涨——Meta、微软、亚马逊都演过类似的戏。到底是真的发生了结构性变革,还是给成本控制找了个体面的说法,投资者和打工人都得消化一阵子。

    • 裁员覆盖几乎所有团队和地区,唯独背着营收指标的销售岗基本幸免
    • Cloudflare 称内部 AI 用量三个月涨超 600%,部署产品的代码全由自主 Agent 审
    • 普林斯预判 2027 年人数会超过今年,前提是用好工具的人更值钱
    Cloudflare CEO 马修·普林斯
    Cloudflare 联合创始人兼 CEO 马修·普林斯(图源:TechCrunch)
  • Patreon 不再求情,直接拦截 AI 爬虫:创作者的内容不是训练素材

    从”请勿抓取”到直接拉黑

    Patreon 这次是真的忍不了了。7月17日,这家靠创作者订阅活着的平台宣布,它和 Cloudflare 联手,开始直接拦截那些专门为训练 AI 模型而来、又没拿到授权的爬虫。

    以前 Patreon 也设过防线,但主要靠 robots.txt 文件——说白了就是放一张”请勿抓取”的告示牌,靠爬虫自觉。现在它换成了主动封堵:Cloudflare 的 AI Crawl Control 技术会直接把训练型爬虫挡在门外。

    Patreon 标志
    Patreon 与 Cloudflare 合作,主动拦截训练型 AI 爬虫(图源:TechCrunch)

    “同意与否,不该取决于抓取方愿不愿意守规矩。”Patreon 在官方博客里写了这么一句,把话挑明了。

    为什么突然动真格?Patreon 的说法很直白:AI 抓取这两年变精明了,而平台为了推新的发现功能(比如改版过的主页流、类似推文的 Quips),反而把更多内容暴露在了爬虫面前。更关键的是,测试期间那些训练爬虫的周访问量,从”几千次”直接掉到了零——人家压根没理过那块告示牌,该抓还是抓。

    索引放行,训练拦截

    平台也留了口子:单纯做索引、把用户导回 Patreon 的搜索引擎类爬虫,它还是放行的。区分标准很清楚——你帮创作者涨粉,可以;你拿创作者的内容去喂自己的模型,不行。

    这背后是整个内容行业的转向。Cloudflare 早就提供了限制 AI 爬虫的工具,甚至搞了个”Pay Per Crawl”市场,让网站能向爬虫收费。月初它又改了政策,凡是又索引又训练的混合爬虫,在有广告的页面上默认拦截。Patreon 的产品负责人 Drew Rowny 说得挺实在:互联网上大多数创作者为了涨粉,不得不默认接受自己的作品被拿去训练;Patreon 想走另一条路——既能涨粉,也能决定自己的东西怎么被用。

    对靠写文章、做播客、画图吃饭的创作者来说,这事儿的意义不只是少被薅几次羊毛。它把”我的内容归谁管”这个老问题,第一次摆到了台面上:当 AI 公司需要海量语料,创作者的同意,到底值不值钱?


    一句话看清这次变化

    • Patreon 联合 Cloudflare,从”请求别抓”升级为”直接拦截”训练型 AI 爬虫
    • 测试期间相关爬虫周访问量从数千次降至零,说明此前的 robots.txt 形同虚设
    • 保留索引类爬虫,只封训练类;Cloudflare 的 Pay Per Crawl 让网站可向爬虫收费
    📎 原文来源:Patreon stops asking AI bots not to scrape — and starts blocking them(TechCrunch / Sarah Perez,2026-07-17)
  • Cloudflare 要给 AI 爬虫立规矩:9 月 15 日起,混着用的默认挡掉

    Cloudflare CEO Matthew Prince
    Cloudflare 联合创始人兼 CEO Matthew Prince(图源:TechCrunch)

    互联网上跑的流量,第一次有一半以上不是人。Cloudflare CEO Matthew Prince 抛出这句话时,顺手给整个 AI 行业下了道最后通牒:从 2026 年 9 月 15 日起,凡是把「搜索、智能体、训练」搅在一起抓取的爬虫,在挂了广告的页面上默认挡掉,除非站长自己改设置。

    简单说,以前一个 Googlebot 既帮你做搜索收录,又顺手把内容喂给 Gemini 训练,以后这招在 Cloudflare 保护的站点上行不通了。新规矩覆盖新客户、老客户新建的站点,以及所有免费用户——Cloudflare 手里管着全球约五分之一的网站流量,这一刀切下去,影响面不小。

    爬虫比人还多,旧契约破了

    Prince 口中的「旧契约」很朴素:我让你爬内容,你给我带流量。可生成式 AI 把这笔账搅黄了。模型厂商派代理替用户实时取网页,站长既没拿到广告曝光,也没收到订阅费,内容倒先被拿去训练了。Cloudflare 自己的数据更扎心:AI 爬虫的抓取流量里,超过一半是在反复拉取没变化的老页面。

    「既然互联网上多数流量已经不是人类产生的,我们就得走得更快、更远,好让一个可持续的生态长出来。」—— Cloudflare CEO Matthew Prince

    不只要挡,还要按次收费

    光挡不够解气,Cloudflare 把 2025 年推出的 Pay Per Crawl 市场升级成了「Pay Per Use」:站长不再只是「被爬时收钱」,而是当自己的内容真的在 AI 回答里产生价值时才收费。首发搭档是 Ceramic.ai 和 You.com——前者在 AI 搜索结果里露出内容就付费,后者碰到付费墙内容才结账。

    • 对出版商:终于能把「我的内容值多少钱」摆上谈判桌,Cloudflare 还配套了 Attribution Business Insights 面板,直接告诉你每个爬虫带回多少引流和商业意图。
    • 对 AI 公司:想白嫖,门儿都没有;老老实实把搜索、代理、训练拆成不同的 bot,反而能拿到更透明的抓取许可。

    被架在中间的 Google

    这纸新规,明里暗里都在戳 Google 的痛处。Cloudflare 点名说,那家「全球最大的搜索引擎」因为把搜索和 AI 绑在一起,掌握的信息量比头部 AI 公司多出约一倍,小站长想被搜到就不得不把内容也交出去训练。Google 当然不服,搬出 Google-Extended 这个可单独 opt-out 的训练爬虫说事,但现实是:就算你挡了 Extended,内容照样会出现在 AI Overviews 里,因为它吃的是 Googlebot 为搜索抓的料。

    Cloudflare 的算盘很清晰:它要的是结构性的分离——每个爬虫干嘛来的,站长心里得有数,再决定放不放行。公司放话要在 2027 年中把「混合用途爬虫」的流量占比从如今的三分之一压到零。对靠语料吃饭的模型厂商来说,这不只是一次设置调整,而是一场关于「内容到底归谁」的重新谈判。

  • Cloudflare打响第一枪:AI公司爬内容,得先付钱

    Cloudflare打响第一枪:AI公司爬内容,得先付钱

    Cloudflare AI内容保护
    Cloudflare推出新政策,要求AI公司为其爬虫访问出版商内容付费(图:Cloudflare)

    互联网上超过一半的流量现在已经不是人在访问,而是机器人在跑。这个里程碑刚被跨过,Cloudflare就坐不住了。

    2026年9月15日起,Cloudflare要把”混合用途”爬虫挡在门外——至少那些带广告的页面默认不再让这些爬虫进来了。啥叫”混合用途”爬虫?就是那些既用来做搜索索引、又用来训练AI模型的爬虫。Cloudflare说得挺直接:你得把搜索和AI训练用的爬虫分开,别想着一次爬取、多处复用。

    Cloudflare联合创始人兼CEO Matthew Prince说得很明白:”现在互联网上大部分流量已经不是人类产生的了,我们必须更快行动,才能让这个生态活得下去。”

    谷歌被点名了

    Cloudflare在公告里没点名,但大家都看得出来——”全球最大的搜索引擎”指的就是谷歌。Cloudflare说这家搜索巨头能访问的内容量,比其他AI公司多了约两倍,原因很简单:谷歌让网站主很难在”被搜索到”和”不被AI用来训练”之间做选择。

    谷歌当然不认这个账。他们说自己提供了Google Extended这个爬虫标识,网站主可以用它来选择退出AI训练。但问题是,谷歌的主力爬虫Googlebot是给搜索用的,而搜索里现在也塞进了AI Overview和AI Mode——你就算挡了Google Extended,Googlebot该爬的还是照爬,而你的内容就可能被拿去喂AI了。

    这才是Cloudflare要动真格的原因。网站主想要被搜索到,但也不想自己的内容被免费拿去训练AI模型。这两个需求之间,谷歌没有给出一个干净的解决方案。

    从”按次收费”到”按价值收费”

    Cloudflare之前就搞过一个叫Pay Per Crawl的东西,让网站主可以向AI爬虫收费。现在这个机制进化成了”Pay Per Use”——不只是爬取的时候收钱,而是当你的内容真的给AI公司创造了价值,才来收费。

    目前已经有两个合作伙伴接入了这个体系:Ceramic.ai和You.com。出版商可以选择加入,然后当他们的内容出现在Ceramic的AI搜索结果里,或者被You.com访问到的时候,就能拿到分成。


    还有一个挺有意思的数据:Cloudflare发现,AI爬虫的流量里,有超过50%是在重新抓取没有变化的页面。这对出版商来说等于白白消耗带宽和计算资源,而Cloudflare的新政策至少能让这部分浪费少一点。

    9月15日这个deadline距离现在还有两个多月。AI公司要是还想继续爬那些带广告的页面,要么把爬虫分开,要么就得准备好付钱了。

  • Cloudflare给AI公司下了最后通牒:9月15日起,爬内容要付费

    Cloudflare给AI公司下了最后通牒:9月15日起,爬内容要付费

    Cloudflare新政策逼迫AI公司为内容付费
    Cloudflare新政策将阻止AI爬虫免费抓取网页内容

    Cloudflare本周扔了一颗炸弹:从2026年9月15日起,Cloudflare的默认设置将阻止”混合用途”爬虫访问任何带有广告的页面。

    这话有点绕,翻译一下就是:那些既用来做搜索索引、又用来训练AI模型、还用来驱动AI代理的爬虫,以后默认进不了用了Cloudflare服务的网站——除非网站主主动改设置。

    这个新政策会影响所有新注册Cloudflare的客户、现有客户新建的站点,以及所有免费版用户。

    机器人流量已经超过人类

    Cloudflare的CEO马修·普林斯说得很直白:”现在互联网上大部分流量已经不是人类产生的了,我们必须采取行动,让一个可持续的生态系统能够出现。”他提到的那个里程碑——机器人流量首次超过人类流量——其实刚发生没多久。

    网站主们的处境确实挺尴尬的。他们希望内容能被搜索引擎搜到,也希望能被AI服务引用,但不希望自己的知识产权被白白拿走。Cloudflare这个点打得挺准的。

    最有意思的是Cloudflare对”世界上最大的搜索引擎”的暗讽——明显是在说谷歌。Cloudflare指出,谷歌能访问到的信息量大约是其他AI公司的2倍,原因是谷歌让用户很难在”不被用于AI”的前提下保持”可被搜索到”。

    谷歌当然不认这个账,说自己提供了”Google Extended”爬虫,网站主可以用它来选择退出内容被用于训练Gemini等AI产品,而且不影响在谷歌搜索里被收录。但问题是,谷歌的旗舰爬虫Googlebot是同时为搜索和AI功能(比如AI Overviews)服务的,这两者并没有完全分开。


    从”按次收费”到”按价值收费”

    Cloudflare这次不只是封爬虫那么简单。他们还在推一个叫”Pay Per Use”的收费机制,是之前”Pay Per Crawl”市场的升级版。意思是:出版商不只是能在AI爬虫来抓内容的时候收费,还能在内容产生价值的时候收费。

    初期合作伙伴有两家:Ceramic.ai和You.com。出版商加入之后,当他们的内容出现在Ceramic的AI搜索结果里,或者被You.com访问到,就能拿到钱。

    这个模式如果真的推开,对AI行业的训练数据成本影响会非常大。现在各家大模型公司训练数据的一个重要来源就是公开网页,如果越来越多的网站通过Cloudflare的默认设置阻止混合爬虫,那AI公司要么掏钱,要么就只能用到期的训练数据了。

    9月15日这个时间节点,可能会成为一个分水岭。

    Cloudflare之前也推出过对抗AI爬虫的工具,包括一个让网站可以向AI爬虫收费的市场”Pay Per Crawl”。现在这个升级版”Pay Per Use”,把收费的触发点从”抓取”变成了”产生价值”,对出版商来说更有利。

    数据也支持Cloudflare的做法。他们发现,AI爬虫的抓取流量里,超过50%都是在重新抓取没有变化的页面。这对出版商来说是纯粹的带宽浪费。

    当然,这个政策能不能真正落地,还得看有多少网站主愿意启用它。Cloudflare在CDN市场的份额很大,如果默认设置真的改为阻止混合爬虫,影响面会很广。

    对AI公司来说,这可能是个不小的麻烦。训练数据本来就越来越难获取,如果连网页抓取都要开始付费,那成本只会越来越高。

  • Cloudflare 开出最后期限:AI 公司想白嫖内容,9月15日之后没门了

    Cloudflare AI内容保护概念图
    Cloudflare AI 内容保护政策概念图(AI生成)

    Cloudflare 本周三宣布了一件事:从今年 9 月 15 日起,旗下所有新客户、现有免费客户,以及现有客户新建的站点,默认将屏蔽那些”混合用途”的爬虫。换句话说,AI 公司想一边借搜索爬虫的名义进来、一边免费把内容拿走训练模型,这套玩法快走到头了。

    Cloudflare 给出的理由是:大多数网站主希望自己的内容被搜索到,也希望被 AI 服务推荐,但不希望自己的知识产权被白白拿走。新政策的核心,是强迫 AI 公司把”搜索爬虫”和”训练/智能体爬虫”分开。

    谷歌被点名了

    Cloudflare 在公告里没点名,但大家都知道它在说谁——”全球最大的搜索引擎”拥有大约两倍于其他 AI 公司的信息量,原因很简单:它让客户很难在”被搜索到”和”不被用于 AI 训练”之间做选择。

    谷歌当然不服气。它回应说,自己提供了一个叫 Google Extended 的爬虫,网站主可以用它来选择不被训练。但问题是,谷歌的主爬虫 Googlebot 同时服务于搜索和 AI 功能(比如 AI Overviews),站点主如果屏蔽了它,搜索排名也会受影响。这就是 Cloudflare 说的”混合用途”问题。

    从”按次收费”到”按价值收费”

    这件事的背景是,Cloudflare 去年就已经上线了一个叫 Pay Per Crawl 的市场,让网站主可以向 AI 爬虫收费。现在,这个机制正在升级为”Pay Per Use”——不只是”你来爬我就要钱”,而是”你的 AI 用我的内容产生了价值,我也要分一杯羹”。

    目前 Cloudflare 先拉了两个合作伙伴:Ceramic.ai 和 You.com。一旦网站主选择加入,当他们的内容出现在 Ceramic 的 AI 搜索结果里,或者被 You.com 调用了付费内容,就能拿到分成。


    为什么是现在?

    Cloudflare 联合创始人兼 CEO Matthew Prince 说得很直白:互联网流量现在大部分已经不是人类产生的了,必须快点行动,才能出现一个可持续的生态系统。他指的是上个月刚发生的里程碑——爬虫流量历史上第一次超过了人类流量。

    还有一个更实际的原因:Cloudflare 的数据显示,AI 爬虫有超过 50% 的爬取时间花在重新抓取没有变化的页面上。这对网站主来说,是纯粹的带宽和计算资源浪费。

    AI 公司会乖乖交钱吗?

    这恐怕是最大的问号。Cloudflare 的这次政策调整,本质上是用”默认屏蔽”来倒逼 AI 公司坐到谈判桌前。如果你是一家 AI 公司,你的爬虫被 Cloudflare 默认挡掉了,你要么乖乖分开你的爬虫、要么去跟网站主一个个谈授权。

    对一些有实力的 AI 实验室来说,这可能意味着训练数据的成本要显著上升。尤其是那些严重依赖”公开网络数据”的模型,下一步怎么走,会是个大问题。反过来,这也可能催生一批专门做”合规训练数据”的公司——毕竟,有人愿意付钱,就有人愿意卖。

    不管怎样,9 月 15 日是个节点。到那一天,AI 公司和内容创作者之间的权力天平,可能会往后者那边倾斜一点点。

  • Cloudflare出手了:9月15日起,AI公司要为爬取的内容买单

    Cloudflare出手了:9月15日起,AI公司要为爬取的内容买单

    7月1日,Cloudflare联合创始人兼CEO Matthew Prince在官方博客扔下一枚重磅炸弹:从2026年9月15日起,Cloudflare的默认设置将自动屏蔽”混合用途”网络爬虫访问任何带有广告的页面。换句话说,AI公司要是想继续用网络内容训练模型、驱动智能体,要么把搜索爬虫和AI爬虫分开,要么就得谈付费的事了。

    Cloudflare CEO Matthew Prince
    Cloudflare CEO Matthew Prince宣布新政策(图源:TechCrunch)

    为什么要现在动手?

    Matthew Prince在声明里说了一句话,值得所有人注意:”现在互联网上大部分流量已经不是人类产生的了。”他指的是最近的一个里程碑——网络爬虫流量首次超过了人类用户流量,而且这个拐点比预期来得更早,原本预测要到明年才发生。

    “现在互联网上大部分流量已经是非人类产生的,我们必须更进一步、行动更快,才能让一个可持续的生态系统出现。”

    —— Cloudflare CEO Matthew Prince

    这个变化影响面有多大?Cloudflare在全球拥有大量网站客户,新政策将适用于:所有新注册客户、现有客户新建的站点、以及所有现有免费客户。只有手动调整设置的站长才能允许混合爬虫继续抓取。

    点名Google:你拿了两倍的数据

    Cloudflare在声明里不点名地批评了”全球最大的搜索引擎”——显然指的是Google。说法很直接:Google让网站主陷入一个两难境地,想要被搜索到,就得同意内容被拿去训练AI,结果就是Google比其他AI公司多拿了大约两倍的信息量。

    Google当然不服气。他们过去就反驳过,说自己提供了”Google Extended”爬虫,网站主可以单独选择退出AI训练,不影响搜索收录。问题是,Google的旗舰爬虫Googlebot是”混合用途”的——它既管搜索,也管AI概览(AI Overviews)和AI模式这些功能。Cloudflare的意思很明确:你们得拆开,别混在一起。

    从”按次收费”到”按价值收费”

    这件事的背景是,Cloudflare去年就推出了一个叫”Pay Per Crawl”的市场,让网站主可以向AI爬虫收费。现在这个机制升级了,叫”Pay Per Use”——不只是抓取代价,而是当你的内容真的产生了价值(比如出现在AI搜索结果里),你才能拿到钱。

    起步阶段,Cloudflare找了两个合作伙伴:Ceramic.ai和You.com。如果网站主选择加入,当他们的内容出现在Ceramic的AI搜索结果里,或者被You.com访问到 premium 内容时,就能收到钱。

    • AI爬虫有超过50%的流量是在重复抓取没有变化的页面——纯浪费带宽
    • 出版商的内容被免费用于商业AI产品,但没有任何补偿
    • Cloudflare希望9月15日的deadline能逼AI公司把爬虫”分家”

    这对AI行业意味着什么

    这个政策一旦落地,影响是连锁性的。首先,那些依赖免费网络爬取来训练模型的AI公司,成本会显著上升。OpenAI、Anthropic、Google这些巨头或许扛得住,但中小AI创业公司就不一定了。

    其次,这可能会加速AI公司自己去买内容授权——就像Apple Music买音乐版权、Netflix买影视版权一样。其实这个趋势已经开始了,OpenAI跟News Corp、Axel Springer都有内容授权协议。Cloudflare这招,等于把”授权”变成了”强制”。

    当然,9月15日还有两个多月,AI公司有足够时间去调整爬虫策略。最可能的结局是:Google被迫把Googlebot拆成两个,其他AI公司也跟着学。Cloudflare这套打法,本质上是用自己在全球CDN市场的统治地位,强行给AI行业立了个规矩。