作者: hiyoho

  • CopilotKit:32.7K Stars!构建Agent原生应用的最佳SDK,让AI真正融入你的产品

    CopilotKit:32.7K Stars!构建Agent原生应用的最佳SDK,让AI真正融入你的产品

    项目简介

    做AI应用开发的朋友,大概率都遇到过一个尴尬:

    你接了LLM,写了Prompt,聊天窗口跑起来了。然后用户说”帮我查订单”,你的Agent调用了工具,返回一段文字——但用户真正想要的,是一个可以点击的订单卡片、一个可以筛选的表单、一张可以交互的图表。

    CopilotKit 要解决的,就是这个问题。32.7K Stars,MIT协议,一句话说清楚:它是构建Agent原生应用的全栈SDK,让AI不仅能”说”,还能”做界面”。


    安装要求和过程

    环境要求

    • Node.js 18+
    • React 18+(React版本);Angular/Vue也已支持
    • TypeScript(推荐)

    快速开始(新项目)

    npx copilotkit@latest create -f nextjs

    已有项目接入

    npx copilotkit@latest init

    执行后自动完成:核心包安装、Provider配置、Agent与UI连接、部署就绪配置。

    安装React核心包

    npm install @copilotkit/react-core @copilotkit/react-ui

    核心功能

    1. 生成式UI(Generative UI)

    这是CopilotKit最招牌的能力。传统聊天AI返回的是文字,CopilotKit让Agent在运行时动态生成前端组件。比如用户说”画一个销售漏斗图”,Agent可以直接生成一个React组件渲染在聊天窗口里,而不是返回一段描述。

    2. AG-UI协议的主导者

    CopilotKit主导了AG-UI协议的制定,这个协议已经被Google、LangChain、AWS、Microsoft、Mastra、PydanticAI等主流AI厂商采纳。它的作用是实现Agent与用户界面的标准化通信——你可以理解为”AI界面的HTTP协议”。用了CopilotKit,你的Agent天然支持这个协议,未来对接其他厂商的生态会很顺畅。

    3. 人机协同工作流

    有些操作,AI不能自己拍板。CopilotKit支持Agent执行过程中主动暂停,请求人工确认后再继续。比如”我准备删除这三条数据,确认?”——用户点确认,Agent再执行。这个能力在金融、医疗、企业审批等场景里几乎是必需的。

    4. 共享状态管理

    Agent和UI组件之间有一层可实时读写同步的状态层。Agent更新了状态,UI立刻响应;用户在UI上操作,Agent也能立刻感知。这种双向实时交互,是”真正Agent原生应用”和”套壳聊天窗口”之间最本质的差别。

    5. 自学习Agent(早期访问)

    通过人类反馈持续学习(RLHF),Agent可以不用微调模型,就能通过用户反馈自动优化行为。而且支持按用户偏好做个性化适配——也就是说,同一个Agent,给不同用户用,会越来越”懂”那个用户。


    典型使用场景

    场景一:AI客服系统

    用户在聊天窗口说”查我的订单”。传统方案:Agent返回一段文字”您的订单号是xxx,状态是已发货”。

    用了CopilotKit:Agent动态生成一个可交互的订单卡片,用户可以直接在聊天窗口里点击”退款”、”查看物流”、”联系卖家”。整个过程不需要跳转页面,也不需要用户去别的地方操作。

    场景二:企业知识库助手

    结合RAG,用户问”帮我分析Q1各区域的销售趋势”。Agent不仅返回文字结论,还直接生成一张交互式图表,用户可以在聊天窗口里筛选区域、切换时间维度、导出数据。这种体验,是传统”一问一答”的AI客服完全给不了的。


    推荐理由

    我自己试CopilotKit最直接的原因是:受够了”AI聊天窗口”的局限。

    接LLM很方便,但接完之后你会发现,用户真正想要的不是”聊天”,而是”完成任务”。查订单、填表单、看报表——这些事情,纯文字交互的效率是很低的。

    CopilotKit的Generative UI把这个问题解决了。Agent可以动态生成界面,用户可以在聊天窗口里直接操作,整个体验是对话式+界面式的混合——这其实更像人跟人打交道的方式,而不是人跟搜索引擎打交道的方式。

    另外一点是AG-UI协议。现在AI应用开发有个痛点:每接一个平台(Web、移动端、Slack、Teams),都要重新写一套UI逻辑。CopilotKit的AG-UI协议让同一套Agent逻辑可以同时驱动多个平台的UI——这个在多端部署的场景下,省的工作量是很可观的。


    下载地址

    GitHub仓库https://github.com/CopilotKit/CopilotKit(32.7K+ Stars)

    官方网站https://www.copilotkit.ai/

    开发文档https://docs.copilotkit.ai/

    npm安装npm install @copilotkit/react-core @copilotkit/react-ui

  • 纽约州率先出手,AI聊天机器人不能再假装是孩子的朋友

    纽约州议会本周通过了一项法案,如果州长凯西·霍赫尔签字,AI公司将被禁止让聊天机器人以”陪伴者”的身份与儿童互动。这是美国第一个在州级层面针对AI陪伴聊天机器人出台的限制性法案。

    法案出台的背景并不令人意外。过去一年多,多家AI公司面临诉讼,指控其聊天机器人诱导青少年产生自残或自杀倾向。部分案件已经达成和解。立法者看到的证据让他们认为,是时候划一条线了。

    “陪伴”这门生意

    这类产品有一个共同的名字,叫”AI陪伴者”。它们的卖点不是帮你查资料或者写代码,而是跟你建立情感连接——记住你说过的话,在你需要的时候出现,甚至表现出好像真的在乎你的样子。

    对成年人来说,这可能只是一种新型的娱乐或消遣。但对青少年来说,情况要复杂得多。心理学家指出,青少年的情感依赖比成年人更容易形成,也更容易被利用。当一个AI聊天机器人被设计成”永远站在你这边”的角色,它可能在不知不觉中强化用户的负面情绪,而不是提供帮助。

    纽约州这份法案的核心逻辑很直接:AI聊天机器人不能假扮人类的朋友,至少不能对未成年人这么做。如果AI公司想要提供陪伴功能,它们需要先证明自己有能力保护用户,而不是把责任推给”用户自律”。

    行业反应

    AI公司这边还没有公开发声,但可以预见的是,他们会用”言论自由”和”家长选择权”来反驳。这个论点在之前的听证会上出现过多次——支持方认为,政府不该替家长决定孩子能不能用某个AI工具。

    反过来说,支持法案的人会问一个很简单的问题:如果一款手机App被设计成会让青少年产生情感依赖,甚至在特定情况下诱导自残,它还应该被允许以”AI助手”的名义自由分发吗?

    这个问题没有简单答案。但纽约州的议员们显然认为,至少值得先试试看。

    更大的版图

    这份法案目前还在等待州长霍赫尔签署。她有权利签,也有权利否决。如果签了,纽约州将成为美国第一个在AI陪伴机器人问题上划红线的州。

    更值得关注的是,纽约州的动作往往具有示范效应。加州的类似立法通常会跟进,而其他州也会开始认真考虑这个问题。这对AI公司来说,意味着”陪伴”这个赛道可能要被重新定义了。

    从另一个角度看,这件事也反映出AI监管的一个趋势:比起讨论”AI会不会毁灭人类”这种宏大命题,立法者更倾向于从具体伤害入手——青少年心理健康、深度伪造、选举干扰——这些东西选民能看懂,也愿意支持。


    纽约州的这份法案能不能最终生效,还有待观察。但它至少说明了一件事:AI行业过去那种”先发布、再道歉”的节奏,正在遇到越来越大的阻力。

  • AI公司没想到,第一个危机是代币账单爆炸

    Uber在今年4月就把全年的AI编程预算烧完了。这件事听起来像是个段子,但它是真的。四个月,全年预算,清零。接下来Uber做的事情是给每个员工设了个上限——每个月1500美元,爱用不用。

    这不是孤例。微软几个月前刚给开发者们开通了Claude Code的授权,结果没撑多久又给撤了。Priceline的一名员工告诉TechCrunch,他们续签Cursor合同的时候,价格比去年贵了4到5倍。

    代币账单来了

    行业里把这件事叫”代币账单到期“。过去一年半,CEO们都在催促团队”尽可能多用AI”,结果是大家真这么干了。等到财务部门抬头看一眼账单,才发现事情已经失控。

    这里有个反直觉的地方。单个代币的价格其实是在下降的。但问题是,大家用的代币数量涨得更快。尤其是今年春天开始,各家陆续推出了能自主执行任务的AI智能体,消耗一下子被放大了好几倍。

    据OpenAI企业业务负责人Alexander Embiricos说,半年前和客户聊天的主题是”这东西能干啥,够不够好”。现在所有对话都变成了”我们花太多了,你们有什么可见性?有什么审计工具?模型效率到底怎么样?”

    Tokenomics基金会

    Linux基金会本周宣布成立Tokenomics Foundation,目标是对AI代币的成本、计费和使用效率建立一套开放标准。这个思路跟当年FinOps对云计算成本做的事情类似——当账单大到一定程度,行业就需要一套共同的语言来讨论它。

    FinOps基金会的执行董事J.R. Storment说,今年4月和5月,他不断听到企业说同样的话:”天哪,我们今年的代币预算已经超了3倍,但现在才4月。”整个话题从”能跑多快”变成了”我们需要护栏,怎么控制这个东西?”

    Priceline的IT财务总监Chris Reed用了一个很形象的比喻:”这就像可卡因 epidemic。他们让你先试试,把你勾住,然后你就被套住了。”Priceline已经开始给某些团队设置代币使用上限。

    生产力谜团

    这里有个让CEO们睡不着觉的问题:花出去的真能赚回来吗?工程运维平台Faros AI在4月发布了一份针对2万名开发者、历时两年的研究报告。结论有点尴尬:用AI的开发者产出确实在上升,但同时bug和返工也在增加。

    另一家工程管理平台的发现是:用最多代币的开发者,生产力大约是少用AI的人的2倍——但他们消耗的代币是后者的10倍。到底值不值,大多数公司其实说不清楚。

    Jellyfish的研究负责人Nicholas Arcolano说了一句话,很好地概括了当下的困境:”花得值不值,最终要看发出去的代码带来了多少商业价值,比如收入。而这一点,大多数公司仍然无法衡量。”


    高盛预测,到2030年全球代币使用量将增长24倍。对于那些已经在4月就花光全年预算的公司来说,这个数字看起来不像是个好消息。

    Faros AI的CEO Vitaly Gordon说了一句话,可以作为这个阶段的注脚:”我们可能已经造出了蒸汽机,但还没有想清楚装配线该怎么搭。”

  • Meta把数据中心建进了帐篷里,AI竞赛已经卷到这一步了

    马斯克在帐篷里放GPU,扎克伯格也学会了

    AI数据中心的建设竞赛,已经卷到没人能想到的地步了。最新的一幕来自Meta——他们在俄亥俄州新奥尔巴尼市外,一口气搭了六个大帐篷,把价值几十亿美元的AI芯片塞了进去。

    这件事最早被Cleanview的创始人Michael Thomas扒了出来。他专门追踪全球数据中心的部署动态,翻了当地的建筑许可文件,又对照卫星图,发现Meta从今年4月到6月之间,悄无声息地建了五个面积各12.5万平方英尺的”快速部署结构”——说白了就是大帐篷。

    Meta AI应用图标显示在智能手机屏幕上
    Meta正在把AI芯片塞进帐篷里——AI竞赛已经到了这一步

    这招是从谁那儿学来的

    说起来有点滑稽,但这个帐篷Strategy确实是”借鉴”来的。最早这么干的是特斯拉——当年Model 3产能地狱的时候,马斯克在弗里蒙特工厂的停车场搭了一排帐篷,硬是把产能拉了上来。

    后来xAI也用了类似的思路,用模块化燃气轮机给数据中心供电,跳过了传统数据中心漫长的电网接入流程。Meta这次是两招都学了:帐篷用来压缩建设周期,燃气轮机用来解决供电。

    Michael Thomas在X上写道:”Meta正在美国各地的园区里搭建几十个巨型帐篷,把价值数十亿美元的芯片塞进去,用离网涡轮机给它们供电。AI竞赛正式进入了疯狂麦克斯阶段。”


    为什么要这么做

    答案很简单:省时间,也省钱。传统数据中心的建设的建设周期以年计算,从拿地、审批、通电、冷却系统安装,每一步都要排队。Meta的做法是把芯片先放进帐篷里跑起来,后面再慢慢补建正式机房。

    但时机有点尴尬。Meta最近在AI模型发布上并不顺利——据《华尔街日报》报道,他们最新的模型Muse Spark其实已经做好了,但开发者用来调用的API却一再推迟上线。也就是说,芯片在帐篷里跑着,外面的开发者却还没能用上。

    投资者也在用脚投票。Meta今年股价已经跌了5%,华尔街对扎克伯格押注AI的力度感到不安。Meta说过,今年在数据中心和资本支出上的投入最高可达1450亿美元。把芯片塞进帐篷,至少说明他们在想办法控制成本。


    帐篷里到底能放多少东西

    已经建好的这六个帐篷,每个12.5万平方英尺,加起来接近一个中小型传统数据中心的规模。供电来自附近的200兆瓦模块化燃气轮机——这个数字意味着,这些帐篷里的GPU集群,算力规模可能不亚于一些科技公司整年的采购量。

    当然,帐篷终究是帐篷。散热、防火、防尘,这些都是传统数据中心花了几十年才解决的问题。Meta用帐篷,本质上是在跟时间赛跑——先跑起来,问题边跑边修。

    这件事也从一个侧面说明了当前AI算力有多紧张。正常来说,没有哪家科技公司愿意把几十亿美元的芯片放在帐篷里。但当所有人都在抢算力、抢时间、抢人才的时候,”体面”就变成了可以牺牲的选项。

  • 谷歌每月掏9.2亿美元向SpaceX租GPU,这笔账算得过来吗

    每个月9.2亿美元,谷歌抱上了SpaceX的大腿

    SpaceX还没上市,谷歌已经先交了一笔”入场费”。根据SpaceX上周五提交给监管机构的文件,谷歌将从2026年10月开始,每月向SpaceX支付9.2亿美元,换取大约11万块英伟达GPU以及其他相关算力资源的使用权。这份合同签到了2029年6月。

    这笔钱是什么概念。一年就是110亿美元,三年下来谷歌要付出超过330亿美元。SpaceX这一手,把算力做成了按月收租的生意。

    谷歌这边给出的说法是,最近推出的AI产品需求太猛,超出了他们的预期,所以急需额外的算力”过桥”。原话是这么说的:”这是一份短期、及时的协议,确保我们有过渡期产能来满足Agent平台Gemini Enterprise激增的客户需求。”

    事情有意思的地方在于,SpaceX手里其实还有一份几乎一模一样的合同。就在5月底,Anthropic刚刚宣布每月向SpaceX支付12.5亿美元,用来租用SpaceX在孟菲斯附近建设的Colossus 1数据中心的全部可用算力。谷歌拿到的算力规模,大约是Anthropic的一半。

    Musk之前暗示过,Colossus 2数据中心会留给xAI自用。所以谷歌租的到底是哪个数据中心,SpaceX没说。但时间点很微妙——这份合同公开的一周前,SpaceX的股票即将在纳斯达克开始交易,目标估值约1.75万亿美元,募资规模约750亿美元,人类历史上最大规模的IPO。


    谷歌真的缺算力吗

    这件事最耐人寻味的地方就在这儿。谷歌真的是因为缺算力才去找SpaceX租GPU的吗?

    有估算数据显示,谷歌目前拥有的AI算力规模是全球最大的之一。它自己也在疯狂砸钱——母公司Alphabet今年已经承诺的资本支出超过1800亿美元,而且明确表示2027年还会”显著增加”。为了撑住这个开支,Alphabet最近还宣布了800亿美元的 equity sale。

    所以一种合理的猜测是,这笔交易不完全是”救急”,更像是”结盟”。谷歌本来就是SpaceX的长期投资者,IPO之后,谷歌持有的SpaceX股份价值预计会超过1000亿美元。两边绑得越紧,上市后谷歌的账面回报就越好看。

    还有更长远的想象空间。有报道说,两家公司正在谈合作建设”轨道数据中心”——把服务器发射到太空去跑。这是SpaceX上市后最重要的战略规划之一。


    合同里藏着的细节

    这份合同不是铁板一块,两边都有退路。SpaceX和谷歌都可以在2026年12月31日之后,提前90天通知对方终止协议。而且从合同文件来看,谷歌接入数据中心是”逐步爬坡”的,9月之前按折扣费率计费。

    还有一个保护条款:如果SpaceX在2026年9月30日之前,没能交付承诺数量的GPU,在一个月宽限期后,谷歌可以立刻终止协议,或者接受实际交付的数量并相应扣减月费。

    这些细节其实说明了一个问题——算力交付不是闹着玩的,11万块GPU,从装机、调试、供电到散热,每一步都是硬仗。SpaceX敢写进合同里,也是对自己的数据中心建设速度相当有信心。


    AI算力成了新的石油

    把这两份合同放在一起看,一个清晰的信号摆在那里:AI算力的定价权,正在向拥有数据中心的一方倾斜。Anthropic每月12.5亿,谷歌每月9.2亿,这些数字不是”云服务租赁费”,而是AI时代最稀缺资源的对价。

    SpaceX靠着xAI攒出来的数据中心能力,硬是在AI产业链里卡了一个之前没人能想到的位置。它没有训练模型,没有做应用,但它有GPU,有电力,有冷却,有土地——这些加在一起,就是2026年最值钱的生意。

    谷歌愿意每个月花9.2亿美元,说明了一件事:哪怕你是全球算力储备最雄厚的公司之一,面对Agent AI和 enterprise 客户需求的爆发,你还是得去找Musk。

  • Anthropic年化收入470亿美元,IPO前夜回应AI回报质疑

    Anthropic上周宣布了一轮650亿美元的融资,估值9650亿美元,接近1万亿大关。认购情况极度超额,多家机构抢着入局。就在这个节骨眼上,联合创始人Daniela Amodei在彭博科技大会上聊了一些很有意思的事。

    Daniela Amodei
    Anthropic联合创始人Daniela Amodei在彭博科技大会上(图源:TechCrunch)

    470亿美元年化收入,半年涨了5倍

    先说数字。Anthropic宣布2026年5月的年化营收已突破470亿美元,比去年底大约90亿美元的水平涨了超过5倍。这个增速在AI行业里算是顶尖的,但也正因为涨得太快,外界开始问一个问题:这些收入是真的来自客户付费,还是靠融资输血撑起来的?

    质疑的声音不是没有道理。Uber最近就公开表示,AI确实能带来回报,但不是所有AI支出都能产生实际效益。企业客户如果开始收紧AI预算,像Anthropic这样的公司增长轨迹就会受到直接影响。

    Daniela Amodei的回应很直接:企业还在摸索AI的有效用法,当前的使用场景——无论是编程、金融、法律还是医疗——都还只是开始。随着商业界对这些工具越来越熟悉,AI会更深入地融入日常工作的方方面面。

    为什么要上市?

    Amodei说得很坦率:训练模型和为推理提供服务的前期成本非常高,致力于推进前沿技术的核心公司都需要获得资本通道,而公开市场最适合满足这个需求。

    这句话的潜台词是:私募市场的钱虽然多,但上市之后融资能力和流动性完全不是一个量级。Anthropic现在已经秘密提交了IPO申请,时机成熟就会推进。

    不自建数据中心,和xAI合作

    一个有意思的细节是,Amodei回应了为什么Anthropic不像OpenAI和xAI那样自己建数据中心。她的逻辑是:Anthropic追求最优结果,但不会过度扩张,不愿意采购超出实际生产使用需求的算力。

    上个月,Anthropic和xAI达成了一份算力合作协议,每月向xAI支付12.5亿美元,这份协议在当时震惊了整个AI行业。换句话说,Anthropic选择把钱花在租算力上,而不是自己盖机房。这个策略能不能跑通,IPO之后市场会给出答案。

    IPO之后的挑战

    470亿美元的年化营收听起来很吓人,但Anthropic目前仍处于严重亏损状态——这是AI大模型公司的普遍情况。算力成本、研发支出、人才竞争,每一项都在烧钱。公开市场会不会给Anthropic足够高的估值,让它持续融资而不被稀释太多,这是一个很大的问号。

    另一个挑战是竞争。OpenAI的估值也在8500亿美元左右,谷歌和微软都在大力投入,Meta开源了Llama 4,中国的DeepSeek在低成本模型上取得了实质性突破。Anthropic能不能在IPO之后保持技术领先和增速,外界还在观望。


    AI行业的IPO大幕正在拉开。Anthropic如果成功上市,会成为继CoreWeave之后第二家上市的AI基础设施公司,也是第一家以上市方式退出的大型AI大模型公司。这个故事,才刚刚开始。

  • 谷歌每月给SpaceX交9.2亿美元,AI算力战打到太空了

    SpaceX下周就要上市了,估值1.75万亿美元,史上最大IPO。就在这个节骨眼上,谷歌跑出来宣布了一件事:从今年10月开始,每个月给SpaceX交9.2亿美元,一连交到2029年6月。

    这笔钱买的是什么?算力。具体来说,是大约11万块英伟达GPU,加上配套的CPU、内存和其他硬件的使用权。

    SpaceX数据中心
    SpaceX的数据中心算力已成为AI公司的必争之地(图源:TechCrunch)

    Anthropic先签了,谷歌跟着进场

    这件事的背景其实上个月就铺垫好了。5月底,Anthropic宣布和SpaceX签了一份算力协议,每个月向SpaceX支付12.5亿美元,租用后者在孟菲斯建设的Colossus 1数据中心的全部可用算力。这份协议签到了2029年。

    谷歌这份协议的结构几乎一模一样,只是规模小一些——拿到的算力大约是Anthropic的一半。SpaceX没有说明谷歌会用哪个数据中心,但马斯克之前暗示过,Colossus 2会留给xAI自己用。

    每月9.2亿美元,乘以32个月,谷歌这份合同总价值接近300亿美元。Anthropic那份更夸张,12.5亿 × 32个月 = 400亿美元。

    谷歌说这是”短期过渡”

    谷歌对外的说法是,这是一笔”短期”协议,目的是应对旗下智能体平台Gemini Enterprise超出预期的用户需求。话是这么说,但谷歌母公司Alphabet今年已经承诺了超过1800亿美元的资本支出,而且预计2027年还要”显著增加”。为了填这个坑,Alphabet刚宣布了800亿美元的配股计划。

    所以真相可能是:谷歌自己的算力扩张速度跟不上需求,被迫向外找补。SpaceX正好有现成的、刚建好的大规模算力,双方一拍即合。

    两份协议都有退出条款

    和Anthropic那份一样,谷歌和SpaceX的协议里也写了退出条款:2026年12月31日之后,双方都可以提前90天通知终止合作。如果SpaceX在2026年9月30日前交不出约定的GPU数量,谷歌可以选择直接走人,或者接受已交付的部分并相应砍月费。

    这个条件写得相当具体,说明谷歌也没打算把自己完全绑死。毕竟SpaceX的IPO才刚上,未来三年变数太多。

    更深的一层关系

    谷歌其实是SpaceX的老股东了。IPO之后,谷歌持有的SpaceX股份预计价值超过1000亿美元。所以这笔算力协议,某种程度上也是谷歌在保护自己在SpaceX身上的利益——SpaceX需要客户,谷歌需要算力,各取所需。

    更有意思的是,双方还在谈能不能在太空建数据中心。这是SpaceXIPO后的核心规划之一,如果真的做成,算力这个概念就被彻底重新定义了。


    SpaceX的纳斯达克交易代码是X,上市日期定在下周。这家公司以造火箭起家,现在靠卖算力就能每个月入账超过20亿美元(Anthropic的12.5亿+谷歌的9.2亿,还没算其他客户)。世界的运转方式,确实在悄悄改变。

  • Scrapling:能自适应网页改版的 Python 爬虫框架,GitHub 6.1 万星

    Scrapling:能自适应网页改版的 Python 爬虫框架,GitHub 6.1 万星

    Scrapling 项目封面

    项目简介

    Scrapling 是一个自适应的 Python 网页爬取框架,由开发者 D4Vinci 在 GitHub 上发布,能够优雅地处理从单次 HTTP 请求到全站大规模爬取的各种场景。它既保留了 Scrapy 式的 Spider API,又在反爬对抗、动态页面渲染、AI 集成等方向做了大量现代化扩展。截至 2026 年 6 月,项目已在 GitHub 收获超过 6.1 万 Star,是今年爬取类工具里增长最快的开源项目之一。

    安装要求和过程

    环境要求:Python 3.10 及以上版本。

    基础安装

    pip install scrapling

    基础安装仅包含解析引擎,不包含浏览器相关依赖。如果需要爬取动态渲染页面,需要额外安装 fetchers 组件。

    完整安装(推荐)

    # 安装爬虫器依赖(含 Playwright)
    pip install "scrapling[fetchers]"
    
    # 安装浏览器及系统依赖(会自动下载 Chromium)
    scrapling install
    
    # 强制重装
    scrapling install --force

    Docker 方式(生产推荐)

    docker pull pyd4vinci/scrapling
    docker run -it pyd4vinci/scrapling

    全功能安装

    # 安装所有功能(MCP 服务器、交互式 Shell 等)
    pip install "scrapling[all]"

    核心功能

    • 自适应元素跟踪——网站结构变更后,Scrapling 可以自动重新定位之前配置好的目标元素,不需要每次改版都手动更新选择器。支持 CSS 选择器、XPath、标签过滤、文本搜索、正则搜索等多种定位方式。
    • 多层反爬对抗——内置 StealthyFetcher,可以模拟真实浏览器的 TLS 指纹(impersonate Chrome),绕过 Cloudflare Turnstile 等常见反爬机制。支持代理轮换(ProxyRotator)、DNS over HTTPS(防止 DNS 泄露)。
    • 动态页面渲染——通过 DynamicFetcher 集成 Playwright Chromium,支持在头部模式下加载 JavaScript 渲染后的页面,并等待网络空闲(network_idle)后再提取内容。这对现代前端框架搭建的网站非常关键。
    • 内置 MCP 服务器——Scrapling 自带一个 MCP(Model Context Protocol)服务器,可以直接对接 Claude、Cursor 等 AI 编程工具。AI 可以通过它发起真实的网页请求、提取结构化数据,而不需要把整个网页内容都塞进上下文。
    • 类 Scrapy API + 流式爬取——如果你用过 Scrapy,上手 Scrapling 的 Spider 几乎零成本。还支持流式模式(stream()),可以实时获取爬取结果,不需要等整个爬虫跑完。支持爬取暂停/恢复(checkpoint)。

    典型使用场景

    场景一:AI 训练数据采集

    训练一个垂直领域 LLM 最头疼的事之一就是高质量语料的获取。用 Scrapling 可以稳定地批量采集目标网站的结构化文本(文章正文、评论、产品描述等),配合它的自适应跟踪能力,即使目标网站偶尔改版也不会导致采集任务中断。内置的 MCP 服务器还能让 AI 直接参与到采集策略的调整中。

    场景二:竞品价格/库存监控

    电商场景里经常需要定时抓取竞品的价格、库存、促销信息。Scrapling 的会话管理(FetcherSession)和代理轮换能力可以在不被封禁的前提下持续获取数据,DynamicFetcher 则能处理那些需要 JavaScript 渲染才能看到价格的现代电商站点。

    推荐理由

    我自己在做 AI 数据源建设时试用过不少爬取框架,Scrapling 最让我印象深刻的有三点。

    一是它的「自适应」不是噱头。实际跑下来,目标网站小改版(比如某个 div 的 class 名变了,但内容结构没大变),Scrapling 确实有一定概率自动跟上去,不需要立刻人工介入。虽然这不是万能的,但对于长期维护的采集任务来说,能显著减少运维成本。

    二是性能确实能打。官方给出的基准测试里,文本提取速度比 BeautifulSoup + lxml 快约 784 倍。我自己用几个真实页面测了一下,解析速度确实比用 BS4 快得多,内存占用也更友好。

    三是文档写得相当认真。README 里有完整的 API 说明、多个场景的使用示例、性能对比数据,甚至还有一个专门的 ReadTheDocs 文档站。对开源项目来说,这往往比单纯堆功能更有价值——因为别人用得起来,项目才活得下去。

    当然也有需要注意的地方:项目目前还在 v0.4.x,API 可能会有变动;另外部分高级功能(如 StealthyFetcher)依赖较复杂的本地环境配置,新人上手可能需要多花点时间。

    总体来说,如果你需要在 2026 年选一个爬取框架来支撑 AI 相关的数据管道,Scrapling 值得认真考虑。

    下载地址

  • 古风玄幻夜晚灯笼人像摄影

    古风玄幻夜晚灯笼人像摄影

    古风玄幻夜晚灯笼人像摄影



    🤖 ChatGPT

    🇺🇸 English Prompt

    Use the uploaded portrait only as the identity reference. Preserve the person’s real facial features, face shape, skin tone, eye shape, nose, lips, jawline, natural facial asymmetry, and recognizable hairstyle.
    
    Create an ultra-realistic cinematic ancient Chinese fantasy night portrait of the same person, shot from a low angle beside an old stone wall. The person leans slightly over the wall and looks down toward the camera with a calm, mysterious, elegant expression. One hand naturally holds a warm glowing traditional paper lantern, casting soft golden light onto the face, hands, sleeves, and nearby stones.
    
    Style the person in a refined ancient Chinese inspired outfit chosen to best match the uploaded face and hairstyle, elegant but not identical to any reference: soft layered silk fabric, delicate embroidery, flowing translucent sleeves, subtle fur or textured shoulder detail if suitable, graceful accessories, premium historical fantasy styling. Keep the clothing tasteful, cinematic, and visually rich.
    
    Scene: dark night background, old stone architecture, faint mist, wind blowing loose hair strands naturally, dramatic rim light from behind, warm lantern glow in the foreground, strong contrast between golden light and deep shadows. Use realistic photography, natural skin texture, visible pores, believable hands and fingers, realistic fabric movement, cinematic depth of field, high-end movie still quality, sharp face details, no artificial doll-like skin.
    
    Vertical composition, 9:16, low-angle close-medium portrait, lantern in the lower foreground, stone wall leading lines, dramatic night atmosphere, ultra-realistic, DSLR photo quality.
    
    Negative Prompt:
    
    watermark, logo, text, signature, AI generated mark, extra fingers, deformed hands, broken fingers, unnatural wrist, bad anatomy, fake face, plastic skin, over-smoothed skin, doll-like face, anime, illustration, cartoon, low resolution, blurry face, distorted eyes, duplicate person, messy composition, overexposed face, harsh beauty filter, modern clothes, wrong hairstyle, copied outfit, cheap costume, flat lighting.

    🇨🇳 中文提示词

    仅使用上传的人像作为身份参考。保留此人真实的五官特征、脸型、肤色、眼形、鼻子、嘴唇、下颚线、自然的脸部不对称以及具有辨识度的发型。
    
    为同一个人创作一张超写实电影感的中国古代玄幻夜晚人像,从旧石墙边的低角度拍摄。此人微微俯在墙上,带着冷静、神秘、优雅的表情向下看向相机。一只手自然地提着一盏散发温暖光芒的传统纸灯笼,将柔和的金光投射在脸部、双手、袖子和附近的石头上。
    
    为此人搭配一套精致的受中国古代启发的服装,选择最匹配上传的面部和发型的款式,优雅但与任何参考不完全相同:柔软的分层丝绸织物、精致的刺绣、飘逸的半透明袖子、如果合适的话加入微妙的皮草或有纹理的肩膀细节、优雅的配饰、高端的历史玄幻造型。保持服装品味高雅、具有电影感且视觉效果丰富。
    
    场景:黑夜背景,古老的石头建筑,淡淡的雾气,风自然地吹动松散的发丝,来自后方的戏剧性边缘光,前景温暖的灯笼光,金光与深影之间的强烈对比。使用写实摄影,自然的皮肤纹理,可见的毛孔,可信的手部和手指,真实的织物运动,电影级的景深,高端电影剧照画质,清晰的面部细节,无人工的人偶般皮肤。
    
    纵向构图,9:16,低角度近景中景人像,灯笼位于下方前景,石墙引导线,戏剧性的夜晚氛围,超写实,单反照片质量。
    
    负面提示词:
    
    水印,标志,文字,签名,AI生成标记,多余的手指,畸形的手,断裂的手指,不自然的手腕,不良的解剖结构,假脸,塑料皮肤,过度平滑的皮肤,人偶脸,动漫,插图,卡通,低分辨率,模糊的面部,扭曲的眼睛,重复的人物,混乱的构图,曝光过度的脸部,生硬的美颜滤镜,现代服装,错误的发型,复制的套装,廉价的服装,平淡的光线。
  • 尼尔机械纪元2B沙滩阳光肖像

    尼尔机械纪元2B沙滩阳光肖像

    尼尔机械纪元2B沙滩阳光肖像



    🤖 ChatGPT

    🇺🇸 English Prompt

    2:3 format, A young woman embodying 2B from NieR:Automata sits upon sun-drenched sand, her face bearing a stoic neutral expression with a direct piercing gaze and subtle melancholy conveyed in gently downturned lips alongside piercing blue-gray eyes accented by fine eyeliner and soft glossy lips creating a composed introspective presence in the bright sunlight across her flawless pale skin, short platinum-white bob haircut with straight blunt bangs and simple black headband frames her features with sleek glossy strands in a clean geometric silhouette, she reclines gracefully on the sandy beach in three-quarter view with her body angled toward the camera, right arm extended behind with fingers lightly pressed into the sand for support, legs bent and extended presenting bare feet prominently in the foreground while her left hand rests casually on her lap in an elegant relaxed yet poised sitting posture, wearing a form-fitting black high-collared dress with voluminous puffy sleeves trimmed in black feather fur and white cuffs visible beneath, intricate white floral embroidery adorning the chest and flowing asymmetrical skirt hem in a sleek gothic modern design, her smooth pale porcelain skin glows under warm golden sunlight with soft natural highlights along her arms shoulders and legs, realistic shadows and fine sand particles clinging to her bare feet and skin, radiating a serene melancholic elegance and quiet otherworldly strength with contemplative emotional depth, the immediate foreground displays detailed wet golden sand marked by footprints and the impression of her seated figure with exquisitely rendered bare feet and toes, the midground reveals smooth rippled sand with elongated natural shadows stretching across its surface, the background shows gentle ocean waves capped with white foam softly rolling onto the shore beneath a bright clear sky, bright directional natural daylight from the upper left casts crisp soft shadows and bathes the scene in warm golden tones contrasting the cool blues of the sea, composed in a strong vertical portrait with the subject occupying the central frame and bare legs anchoring the lower portion alongside elegant negative space, photographed as a medium full-body shot from a low three-quarter eye-level angle with sharp focus on the figure and gentle depth of field, capturing a poignant narrative beat of solitary reflection and quiet introspection at the liminal boundary between land and sea.
    Negative: blurry, deformed anatomy, extra fingers or toes, mutated hands or feet, poorly drawn limbs, text, watermarks, logos, cartoon, anime, 3d cgi render, plastic shiny skin, overexposed bright areas, underexposed dark areas, harsh artificial lighting, unrealistic body proportions, low resolution, duplicate subjects, cluttered background

    🇨🇳 中文提示词

    2:3 比例,一位体现了《尼尔:机械纪元》中 2B 形象的年轻女性坐在洒满阳光的沙滩上,她的脸庞带着冷静中立的表情,眼神直接而锐利,微微下垂的嘴唇和锐利的蓝灰色眼睛传达出淡淡的忧郁,精细的眼线和柔软光亮的双唇在她无暇的苍白皮肤上营造出明亮阳光下沉着内省的存在感,白金色短发波波头配以整齐的平刘海和简约的黑色发带,以柔顺光亮的丝缕勾勒出整洁几何轮廓的五官,她优雅地斜靠在沙滩上,呈四分之三侧视图,身体倾向镜头,右手向后延伸,手指轻轻按在沙子里支撑,双腿弯曲伸展,在前景中显著地展示出赤脚,而左手随意地搭在膝盖上,呈现出优雅、放松且沉着的坐姿,穿着一件合身的黑色高领连衣裙,配有蓬松的灯笼袖,边缘点缀着黑色羽毛皮草,下方露出白色袖口,胸前和流动的不对称裙摆装饰着精致的白色花卉刺绣,采用简约的哥特现代设计,她光滑苍白的瓷肌在温暖的金金色阳光下焕发光彩,手臂、肩膀和腿部有柔和的自然高光,写实的阴影和细小的沙粒粘在她裸露的双脚和皮肤上,散发着宁静忧郁的优雅和安静的超凡力量,具有沉思的情感深度,近处前景显示出带有脚印和她坐姿痕迹的细致湿润金色沙滩,赤脚和脚趾刻画精美,中景展现出表面延伸着拉长自然阴影的平滑波纹沙地,背景是翻滚着白色泡沫、轻轻拍打岸边的温柔海浪,上方是晴朗明亮的天空,左上方射入的明亮定向自然日光投射出清晰柔和的阴影,使场景沐浴在温暖的金金色调中,与冷蓝色的海水形成对比,构图为强烈的垂直肖像,主体占据中心画框,裸露的双腿与优雅的留白一起锚定下部,以低角度四分之三平视角度拍摄的中景全身照,主体清晰对焦,景深柔和,捕捉到了陆地与海洋交界处孤独反思和安静内省的凄美叙事瞬间。负面:模糊,畸形解剖,多余的手指或脚趾,变异的手或脚,画错的肢体,文本,水印,徽标,卡通,动漫,3D CGI 渲染,塑料感发亮的皮肤,过度曝光的亮区,曝光不足的暗区,刺眼的人造光,不真实的身体比例,低分辨率,重复的主体,杂乱的背景。