标签: AI Agent

  • FunASR:阿里达摩院出品的工业级语音识别工具包,18.6K+ Stars 让中文语音识别又快又准

    FunASR:阿里达摩院出品的工业级语音识别工具包,18.6K+ Stars 让中文语音识别又快又准

    ASR

    FunASR:阿里达摩院出品的工业级端到端语音识别工具包

    ModelScope(阿里达摩院) 出品 · 18.6K+ Stars · 1.9K+ Forks · MIT 许可

    FunASR 是阿里达摩院 ModelScope 团队开发的工业级端到端语音识别工具包
    支持 170 倍实时识别速度、50+ 语言、内置说话人日志与情感检测,并提供兼容 OpenAI 的 API 接口。
    相比 Whisper,FunASR 在中文和方言识别上准确率更高,CPU 场景运行速度更快,是开源语音识别领域最实用的生产级工具包。

    18.6K+
    GitHub Stars

    50+
    支持语言

    170x
    实时识别速度

    MIT
    开源许可

    ⚙️ 安装要求和过程

    环境要求

    • Python ≥ 3.8
    • 需先安装 PyTorch 和 torchaudio
    • GPU 可选(CPU 场景亦可运行,SenseVoice 模型可达 17 倍实时)
    • 可选:vLLM(加速推理)、Docker(容器部署)

    快速安装

    # 从 PyPI 安装(推荐)
    pip install funasr
    pip install funasr[cli]      # 包含 CLI 命令行工具
    
    # 从源码安装
    git clone https://github.com/modelscope/FunASR.git
    cd FunASR
    pip install -e ./
    
    # Docker 一键部署 API 服务
    docker run -p 8000:8000 funasr/funasr-server:latest

    🚀 核心功能

    170倍实时识别速度

    旗舰模型 Fun-ASR-Nano 配合 vLLM 加速可达 340 倍实时,比 Whisper 快 26 倍;CPU 场景下 SenseVoice 模型可达 17 倍实时

    🌍

    50+ 语言支持

    Qwen3-ASR 支持 52 种语言,Fun-ASR-Nano 支持 31 种语言,覆盖全球主流语种,适合国际化应用

    🎯

    内置多任务能力

    单模型调用即可完成 VAD 分段、语音识别、说话人分离、标点恢复、时间戳、情感/音频事件识别,无需额外模型

    🔄

    流式实时识别

    支持音频流逐块输入,适合实时字幕、语音实时转写场景,支持逐字/逐句流式输出

    🔌

    OpenAI 兼容 API

    提供兼容 OpenAI 语音识别 API 的接口,可对接 LangChain、Dify、AutoGen 等 AI 框架;提供 MCP Server 可接入 Claude Code、Cursor 等智能体

    💡 典型使用场景

    🎤 本地音频快速转录

    无需 GPU 即可使用,单条命令完成音频转录,支持输出纯文本、JSON、SRT 字幕等格式

    funasr audio.wav
    funasr audio.wav --output-format json
    funasr audio.wav --output-format srt --output-dir ./subs

    👥 会议长音频处理

    单模型调用同时完成 VAD 分段、语音识别、说话人分离,适合会议、访谈等长音频场景

    from funasr import AutoModel
    
    model = AutoModel(
        model="iic/SenseVoiceSmall",
        vad_model="fsmn-vad",
        spk_model="cam++",
        device="cuda"
    )
    result = model.generate(
        input="meeting_record.wav",
        batch_size_s=300,
    )

    🚀 生产级 API 部署

    一键启动兼容 OpenAI 的 API 服务,可对接现有基于 OpenAI API 的应用,无需修改代码

    # 启动服务
    funasr-server --device cuda
    
    # 调用(兼容 OpenAI API)
    curl http://localhost:8000/v1/audio/transcriptions \
      -F file=@sample.wav -F model=sensevoice

    🌟 推荐理由

    FunASR 是开源语音识别领域最实用的工业级工具包。相比 Whisper,它在中文和方言识别上准确率更高,CPU 场景运行速度更快(17 倍实时),且内置了说话人分离、情感检测等额外能力,无需像 Whisper 那样集成多个模型。

    最让我惊喜的是它的 OpenAI 兼容 API——只需改一行代码,就能把基于 Whisper 的应用无缝迁移到 FunASR,且中文识别准确率显著提升。此外,它还提供 MCP Server,可直接接入 Claude Code、Cursor 等 AI 编程助手,让语音识别能力融入 AI 工作流。

    MIT 许可允许商用,且支持边缘设备无 Python 运行时部署(llama.cpp/GGUF),真正做到了全场景覆盖。如果你在做语音相关的 AI 应用,FunASR 是目前最好的开源选择。

    📥 下载地址

    ⭐ 如果你觉得这篇文章有用,欢迎在 GitHub 上给 FunASR 点个 Star!
  • OpenAI Agents SDK:OpenAI官方多智能体框架,27K+ Stars让Agentic AI开发变得简单

    OpenAI Agents SDK:OpenAI官方多智能体框架,27K+ Stars让Agentic AI开发变得简单

    OpenAI Agents SDK 架构图

    OpenAI Agents SDK 多智能体编排架构示意图(图片来源:OpenAI 官方文档)

    项目简介

    OpenAI Agents SDK 是 OpenAI 官方出品的轻量级、强大的多智能体工作流编排框架,2025年3月开源,至今已获得 27,470+ Stars 和 4,227 Forks。一句话概括:让你用极简的 Python 代码,构建生产级的多智能体 AI 应用

    与 LangChain、AutoGen 等第三方框架不同,Agents SDK 是 OpenAI 官方原生维护,与 OpenAI API 深度集成,同时支持 100+ 其他 LLM(通过 LiteLLM),真正做到了 provider-agnostic(提供商无关)。

    🌟 核心定位:不是另一个 AI 框架,而是 OpenAI 对「如何构建 Agentic AI 应用」的官方最佳实践。如果你在用 GPT/Claude 构建智能体应用,这是目前最权威的参考实现。

    安装要求和过程

    环境要求

    • Python:3.10 及以上版本
    • 依赖:Pydantic v2、httpx、mcp-python-sdk
    • API Key:OpenAI API Key(或兼容的其它 LLM)

    快速安装

    # 使用 pip(推荐)
    pip install openai-agents
    
    # 使用 uv(更快)
    uv add openai-agents
    
    # 语音功能支持(可选)
    pip install 'openai-agents[voice]'
    
    # Redis 会话支持(可选)
    pip install 'openai-agents[redis]'
    

    最小可运行示例

    import os
    from agents import Agent, Runner
    
    # 设置 API Key(支持任何兼容 OpenAI API 的服务)
    os.environ["OPENAI_API_KEY"] = "your-api-key"
    
    agent = Agent(
        name="Assistant",
        instructions="你是一个有帮助的助手。",
    )
    
    result = Runner.run_sync(agent, "用一句话解释什么是 MCP?")
    print(result.final_output)
    

    核心功能

    🤖 1. Agents — 智能体定义

    通过声明式 API 定义智能体:配置指令(instructions)、工具(tools)、安全护栏(guardrails)和交接策略(handoffs)。每个 Agent 是一个独立的 LLM 调用上下文。

    🔄 2. Handoffs — 智能体交接

    一个智能体可以将对话「交接」给另一个智能体,实现专业分工。例如: triage Agent → 路由到 billing Agent / technical Agent,是构建多智能体系统的核心机制。

    🛡️ 3. Guardrails — 输入/输出安全护栏

    可配置的安全检查,在 Agent 执行前后验证输入和输出。支持自定义 guardrail 函数,实现内容审核、敏感信息过滤、输出格式校验等。

    🔧 4. Tools + MCP — 工具与协议扩展

    支持函数工具(function tools)、MCP 服务器工具、托管工具(web search / file search / computer use)。MCP 协议原生支持,可接入 1000+ 工具生态。

    📊 5. Tracing — 内置可观测性

    所有 Agent 运行自动记录追踪信息,可在 OpenAI Traces Dashboard 查看、调试和优化工作流。无需额外配置,开箱即用。

    📦 6. Sandbox Agents — 容器化工作空间

    v0.14.0 新增功能。Agent 可以在隔离的容器环境中执行真实工作(读写文件、运行命令、应用补丁),支持长时间跨会话的任务。可用于代码审查、自动修复等场景。

    🎙️ 7. Realtime Agents — 语音智能体

    基于 gpt-realtime-2 模型构建语音智能体,支持实时语音对话,完整集成 Agent 所有功能(工具调用、handoffs、guardrails)。可用于构建 AI 客服、语音助手等。

    💬 8. Sessions — 会话历史管理

    自动管理跨多次运行的对话历史,开发者无需手动维护上下文。支持 Redis 持久化,适合生产环境。

    典型使用场景

    场景一:客户服务多智能体系统

    构建一个客服系统,用户消息首先进入 Triage Agent,根据问题类型自动交接给:

    • Billing Agent:处理账单、退款、付费问题
    • Technical Agent:处理技术故障、错误排查
    • Escalation Agent:复杂问题升级人工处理(Human-in-the-loop)

    每个专业 Agent 有自己的指令、工具和知识库,Handoffs 实现无缝切换。Guardrails 确保用户输入和 Agent 输出符合安全规范。

    场景二:AI 编程助手(代码审查+自动修复)

    利用 Sandbox Agents 在隔离环境中运行 AI 编程助手:

    • Agent 克隆代码仓库到沙箱
    • 阅读代码、分析 Issue
    • 生成修复方案并执行测试
    • 自动提交 PR

    整个过程在沙箱中完成,不影响生产环境。支持跨长时间任务(分钟级到小时级)。

    场景三:语音 AI 助手(Realtime Agent)

    基于 Realtime Agents 构建语音助手:

    • 用户通过语音提问
    • gpt-realtime-2 实时理解并响应
    • Agent 调用工具(查天气、搜信息、控制智能家居)
    • 支持中断、插话、多轮对话

    可用于 AI 客服热线、语音笔记助手、语言学习陪练等场景。

    推荐理由

    作为一个深度使用过 LangChain、AutoGen、CrewAI 等框架的开发者,OpenAI Agents SDK 是目前我最推荐的入门和生产级多智能体框架,原因如下:

    1. 官方背书,长期维护有保障:由 OpenAI 官方团队维护,与 OpenAI API 深度集成,未来能力(如 Realtime API、Computer Use)会第一时间支持。不用担心框架突然停更。
    2. 设计极简,学习曲线平缓:核心概念只有 Agents / Handoffs / Tools / Guardrails / Tracing 五个,API 设计直观。相比 LangChain 的复杂抽象,Agents SDK 让你专注于业务逻辑。
    3. Provider-agnostic,不绑定 OpenAI:虽然由 OpenAI 维护,但通过 LiteLLM 支持 100+ LLM(Anthropic / Gemini / DeepSeek / 本地 Ollama 等)。你可以在开发时用 GPT-4o,生产时切换到更便宜的模型。
    4. 内置 Tracing,调试不再抓瞎:所有 Agent 运行自动记录到 OpenAI Platform,可以查看每次 LLM 调用、工具执行、handoff 传递的完整链路。这是其他框架需要自己搭建的可观测性系统。
    5. 生产级特性齐全:Guardrails(安全护栏)、Human-in-the-loop(人工介入)、Sessions(会话管理)、沙箱隔离,这些都是生产环境必需但很多框架忽视的特性。

    ⚠️ 注意事项:Agents SDK 是 Python-first 框架,如果你需要 JS/TS 版本,可以查看 openai-agents-js。另外,Tracing 功能默认将数据传输到 OpenAI Platform,如数据隐私有要求,可以配置自定义 tracing processor。

    项目数据一览

    指标 数据
    GitHub Stars 27,470+ ⭐
    Forks 4,227
    主要功能 多智能体编排、Handoffs、Guardrails、Tracing、MCP、Sandbox Agents、Realtime
    编程语言 Python(也支持 JS/TS)
    开源许可 MIT License
    维护方 OpenAI 官方
    创建时间 2025年3月11日
    最后更新 2026年6月27日(非常活跃 🔥)

    下载地址

    🚀 OpenAI Agents SDK 让构建生产级多智能体应用变得简单而强大。如果你正在做 AI Agent 项目,这应该是你的首选框架。

  • cognee:为AI智能体打造的开源记忆平台,跨会话持久记忆+自托管知识图谱,23K+Stars让AI真正拥有长期记忆

    cognee:为AI智能体打造的开源记忆平台,跨会话持久记忆+自托管知识图谱,23K+Stars让AI真正拥有长期记忆

    🧠 项目简介

    Cognee 是为 AI 智能体打造的开源记忆平台,通过自托管知识图谱引擎,为智能体提供跨会话的持久长期记忆。它支持任意格式的数据摄入,构建可动态演进的知识图谱,让智能体能够基于完整上下文进行回忆、关联和行动。结合向量嵌入、图推理和认知科学基础的本体生成能力,Cognee 让文档既支持语义搜索,又能通过关系关联,且知识图谱会随知识积累动态演进。


    📦 安装要求和过程

    环境要求

    • Python:3.10 ~ 3.14
    • 可选:Docker(用于本地 MCP 服务或完整部署)
    • LLM API Key:默认支持 OpenAI,也可对接其他 LLM 提供商

    快速安装

    # 使用 uv 安装(推荐)
    uv pip install cognee
    
    # 使用 pip 安装
    pip install cognee
    
    # 如需使用 Postgres 作为后端,安装对应依赖
    pip install "cognee[postgres]"
    

    环境配置

    # 复制环境变量模板
    cp .env.template .env
    
    # 配置 LLM API Key(默认 OpenAI)
    echo 'LLM_API_KEY="your_openai_api_key"' > .env
    

    Docker 一键部署

    # 克隆仓库并配置
    git clone https://github.com/topoteretes/cognee.git
    cd cognee
    cp .env.template .env
    
    # 启动 API 服务(默认端口 8000)
    docker compose up
    
    # 同时启动前端(端口 3000)
    docker compose --profile ui up
    
    # 启动 MCP 服务(端口 8001)
    docker compose --profile mcp up
    

    ⭐ 核心功能

    1. 跨会话持久记忆

    AI 智能体的记忆不会随会话结束而丢失。Cognee 提供两种存储模式:永久存储(直接写入知识图谱,执行完整处理流程)和会话存储(先写入快速缓存,后台异步同步到知识图谱)。

    2. 自托管知识图谱引擎

    知识关系可动态演进,随知识积累自动更新。Cognee 1.0 支持在单个 Postgres 实例上运行完整记忆层(关系存储 + 向量嵌入 + 会话缓存 + 元数据存储),无需维护多组件栈,性能比分离式图+向量方案快约 10%。

    3. 多后端支持

    默认使用 Postgres 全栈运行记忆层,也可按需切换 Neo4j、Neptune、Redis、Qdrant 等专用后端。灵活适配不同规模的部署需求。

    4. 多语言官方客户端

    除 Python 主客户端外,还提供 Rust(cognee-rs,可通过 cargo add cognee 安装)和 TypeScript(@cognee/cognee-ts,可通过 npm install 安装)官方客户端,覆盖更多开发场景。

    5. 多智能体工具集成

    支持 Claude Code、OpenClaw 等智能体工具集成,也支持对接 Cognee Cloud 托管服务。提供 MCP 服务器原生支持,可无缝接入 AI 编程助手。


    🚀 典型使用场景

    场景一:客服智能体

    目标:结合用户的金融、客服、产品历史等个人数据,解决客户问题。

    示例交互

    • 用户提问:”我的发票有问题,而且问题一直没解决”
    • 智能体响应:”我找到 2 个上个月解决的类似账单问题,原因是支付和发票系统同步延迟,我们已经在你的账户上应用了修复方案。”

    底层逻辑:统一整合企业多渠道数据源 → 重建交互时间线 → 检索相似已解决案例 → 匹配最优解决方案 → 执行后更新记忆。

    场景二:专家知识蒸馏(SQL 助手)

    目标:帮助初级分析师复用专家的查询、模式和推理逻辑,完成数据分析任务。

    示例交互

    • 用户提问:”我该怎么为这个数据集计算客户留存率?”
    • 智能体响应:”这是高级分析师解决类似留存查询的方法,Cognee 将你的数据表结构和已知结构做了匹配,把专家的逻辑适配到了你的数据集上。”

    底层逻辑:提取并存储专家 SQL 查询 → 将当前数据表结构映射到已识别的结构 → 检索相似任务和成功实现方案 → 将专家推理逻辑适配到当前上下文。


    💡 推荐理由

    Cognee 解决了 AI 智能体领域一个根本性问题:如何让智能体拥有持久、可演进的记忆。在大模型应用从”单次对话”走向”长期协作”的今天,记忆层已成为 AI 智能体不可或缺的基础设施。

    最打动我的几点

    • Single Postgres 架构:Cognee 1.0 的巧妙设计让整个记忆层运行在单个 Postgres 实例上,极大降低了运维复杂度,同时性能不输专用分离方案。
    • 动态演进的知识图谱:不同于静态 RAG,Cognee 的知识图谱会随知识积累自动更新关系,真正实现”越用越聪明”。
    • 基准测试领先:在长上下文记忆基准测试 BEAM 中,Cognee 得分 0.79(开启按问题路由后 >0.8),优于之前的 SOTA 方案(0.735)和 RAG 基线(~0.33)。
    • 多语言客户端:同时提供 Python、Rust、TypeScript 官方客户端,覆盖从 AI 应用开发到高性能系统集成的全场景。
    • 活跃社区:8426+ 次提交,304 个开放 Issues(说明使用人数多、反馈活跃),Apache-2.0 永久开源。

    如果你正在构建需要”记住用户”的 AI 应用——无论是客服机器人、个人助手还是企业知识助手,Cognee 值得一试。23K+ Stars 和本周新增 5000+ Stars 的趋势,已经说明了开发者的认可。


    📥 下载地址


    📌 许可协议:Apache License 2.0(永久开源,可自由使用、修改和分发)

    👥 维护团队:topotherete 社区(8426+ 次提交,活跃开发中)

    📄 相关研究Optimizing the Interface Between Knowledge Graphs and LLMs for Complex Reasoning(arXiv 2025)

  • 这家公司用《堡垒之夜》训练AI Agent,估值23亿美元

    一家纽约创业公司正在把电子游戏变成AI Agent的训练场。General Intuition本周宣布完成3.2亿美元融资,估值23亿美元。它的核心想法听起来像科幻小说:让AI在《堡垒之夜》这类游戏里练级,然后把学到的能力直接搬到右手机器人身上。

    AI Agent在游戏中训练
    General Intuition用游戏数据训练AI Agent,再迁移到真实机器人(图片:AI生成)

    同一个”大脑”,从游戏到现实

    走进General Intuition纽约办公室的研发区,联合创始人兼CEO Pim de Witte(31岁)会让访客看一块显示器。屏幕上有人在玩类似《堡垒之夜》的游戏——但操控它的不是人类,而是一个AI Agent,已经连续跑了100个小时。

    然后你会听到电子脚步声。一台四足机器人走过来,用身上的摄像头”看”到你,绕着你转了一圈,继续在办公室里探索。刚才那个打游戏的AI模型,现在正在驱动这台实体机器人。

    “我们在真实世界的机器人数据上只微调了8分钟,这个模型就能上岗了。而且这些数据是在街上采集的,不是在办公室里。”

    这套打法的关键在于:General Intuition不只是有游戏画面,它还拿到了玩家实际操作的手柄记录——每一个按键、每一次移动,都是带标注的训练数据。创始人de Witte的上一家公司Medal就是做游戏精彩回放分享的,积累了数亿小时的游戏录像,这才是真正的护城河。

    23亿美元的底气

    这一轮融资由Khosla Ventures领投,Jeff Bezos、Eric Schmidt、F1冠军Nico Rosberg都跟进了。Khosla本人说,他看好的是”直觉的涌现”——就像大语言模型涌现推理能力一样,世界模型的下一次跃迁可能是直觉式判断,而游戏里的人类操作数据就是关键燃料。

    钱主要花在算力扩张上。General Intuition跟CoreWeave签了协议,接下来重点跑下一代模型的预训练。今年夏天结束前,他们的API会对更多客户开放。


    不卖公司,也不做武器

    De Witte是荷兰人,团队很大一部分在欧洲,这影响了公司的气质。他明确划定了红线:不会把AI Agent用于伤害人类的场景。”如果我说我们要做致命自主武器,你觉得其他国家会怎么反应?”

    这跟当下硅谷热衷国防科技的氛围有点格格不入。De Witte甚至还挖来了公开辞职抗议Palantir的Brianna Martin担任首席幕僚长。他说:”我不明白硅谷为什么这么做,所以我不在那里。”

    作为从小靠搭建《RuneScape》私服赚到第一桶金(150万美元)的游戏玩家,他也在想游戏从业者的出路。General Intuition刚上线了一个叫Nerve的平台,让游戏玩家用现有设备赚外快——从数据标注慢慢过渡到机器人遥操作。Medal的用户正好是最容易被AI替代的那代人,他想让他们搭上这班车。


    simulation到现实的鸿沟

    这套故事听起来很性感,但质疑声也不少。核心问题是:在游戏里学会的能力,能不能在真实世界里规模化落地?大多数类似路线都需要天量的真实世界数据,采集慢、成本高。General Intuition的赌注是:游戏数据是一条可扩展的捷径。

    投资方愿意赌一把。毕竟,如果这条路真的走通了,General Intuition可能成为AI Agent和机器人领域的”底座级”公司——就像Anthropic或OpenAI那样,不做具体应用,而是把模型能力开放给所有人用。

    De Witte说得很直白:”我们不会自己去造自动驾驶公司,但我们要让下一个人造自动驾驶公司容易10倍。”

  • Sentence Transformers:RAG与语义搜索的基石,18.8K+Stars让文本嵌入变得简单

    Sentence Transformers:RAG与语义搜索的基石,18.8K+Stars让文本嵌入变得简单

    📌 项目速览
    项目名称: Sentence Transformers
    GitHub: huggingface/sentence-transformers
    ⭐ Stars: 18.8K+ | 🍴 Forks: 2.8K+
    编程语言: Python | 许可证: Apache-2.0
    维护方: Hugging Face (原 UKP Lab)
    官网: sbert.net

    🎯 项目简介

    Sentence Transformers 是计算文本嵌入(Embeddings)的事实标准框架,让语义搜索、RAG 检索和文本相似度计算变得极其简单。由德国达姆施塔特工业大学 UKP Lab 首创,现由 Hugging Face 团队维护,是每一个做 RAG、语义搜索、向量检索工程师的必备工具箱。

    只需两行代码,就能把任意句子转换成高质量稠密向量;再配合一行相似度计算,即可实现语义级别的文本匹配。支持 100+ 语言、15000+ 预训练模型、多模态(文本/图像/音频/视频)嵌入,堪称 AI 时代的”文本向量化瑞士军刀”。

    💡 为什么重要? 大语言模型虽强,但无法直接处理超长文本或实时检索。Sentence Transformers 将文本转化为固定维度的向量,使语义搜索、去重、聚类、推荐等任务速度提升 100 倍,是 RAG 系统的第一块基石。

    ⚙️ 安装要求和过程

    环境要求

    • Python: 3.10+
    • PyTorch: 1.11.0+
    • transformers: 4.41.0+
    • 硬件: CPU 可用,GPU(CUDA)可加速 10-50 倍

    快速安装

    # 基础安装(仅核心功能)
    pip install -U sentence-transformers
    
    # 带扩展功能(图像/音频/视频/训练/ONNX)
    pip install sentence-transformers[image,audio,video,train,onnx]
    
    # 使用 uv 快速安装
    uv pip install sentence-transformers
    
    # Conda 安装
    conda install -c conda-forge sentence-transformers
    

    验证安装:

    python -c "from sentence_transformers import SentenceTransformer; print('✅ 安装成功')"
    

    🌟 核心功能

    1. 稠密嵌入(Dense Embeddings)—— RAG 的核心

    将句子、段落甚至整篇文档转换为固定维度的稠密向量(通常 384-1024 维),使得语义相似的文本在向量空间中距离更近。支持 Matryoshka 嵌入(可变尺寸,大向量拆小不降性能)和 嵌入量化压缩(降低 4-8 倍存储)。

    2. 交叉编码器重排序(Cross-Encoder Reranking)—— 精准召回

    稠密检索快速召回 Top-100 后,用 Cross-Encoder 对查询-文档对进行精细打分,重排序后 Top-5 准确率可提升 15-30%。这是生产级 RAG 系统的标配二阶段检索策略。

    3. 稀疏嵌入(Sparse Embeddings)—— 关键词 + 语义混合

    基于 SPLADE 等模型生成稀疏向量(维度 = 词表大小,但 99.8% 以上元素为 0),兼具 BM25 的关键词匹配能力和稠密向量的语义理解能力,实现真正的 混合检索

    4. 多模态嵌入 —— 图文音视统一向量空间

    通过统一 API 支持文本、图像、音频、视频四种模态的嵌入模型。例如用 AI-ModelScope/CLIP-ViT-bigG-patch14 可实现图文跨模态检索,用 laion/clap-htsat-unfused 实现音频语义搜索。

    5. 模型训练/微调 —— 适配你的业务场景

    提供 20+ 种嵌入模型损失函数(余弦相似度、三元组、对比学习等)、10+ 种重排序损失函数、10+ 种稀疏编码损失函数。支持多语言、多任务联合训练,仅需几十对标注样本即可微调出业务级模型。

    🚀 典型使用场景

    场景一:RAG 知识库检索(最流行)

    企业文档问答系统的标准做法:用 Sentence Transformers 将知识库切片编码为向量存入向量数据库(Chroma/Milvus/Qdrant),用户提问时实时编码查询向量,召回最相关的 Top-K 文档片段送给 LLM 生成答案。

    from sentence_transformers import SentenceTransformer
    from qdrant_client import QdrantClient
    
    # 1. 加载嵌入模型
    model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
    
    # 2. 编码知识库文档
    docs = ["公司报销流程...", "年假申请方法...", "IT设备申领..."]
    doc_embeddings = model.encode(docs)
    
    # 3. 存入向量数据库
    client = QdrantClient(":memory:")
    client.add(collection_name="kb", vectors=doc_embeddings, payload=docs)
    
    # 4. 用户提问检索
    query = "怎么申请年假?"
    query_vec = model.encode(query)
    results = client.search(collection_name="kb", query_vector=query_vec, limit=3)
    print(results[0].payload)  # 返回最相关文档
    

    场景二:语义搜索与去重(电商平台/内容平台)

    电商平台的商品搜索(用户输入”红色运动鞋”能匹配”红跑步鞋”)、新闻推荐系统去重、简历与岗位描述的语义匹配,都依赖 Sentence Transformers 的语义编码能力。

    场景三:跨语言语义匹配(全球化应用)

    支持 100+ 语言的预训练多语言模型(如 paraphrase-multilingual-MiniLM-L12-v2),可将中文、英文、日文等不同语言的相同语义映射到向量空间的相近位置,实现跨语言检索和匹配。

    💡 推荐理由

    1. RAG 工程师的”Hello World”

    几乎所有 RAG 教程的第一个代码示例都是 Sentence Transformers。它把复杂的 Transformer 编码、池化、归一化等步骤封装成一行 model.encode(),让开发者专注业务逻辑而非模型细节。langchain、LlamaIndex 等框架的底层检索默认就用它。

    2. Hugging Face 生态深度整合

    作为 Hugging Face 官方库,可直接 model = SentenceTransformer("your-model-name") 加载 Hub 上任意模型,也轻松将本地模型 push_to_hub() 分享给社区。15000+ 预训练模型即搜即用,覆盖从轻量级的 MiniLM(80MB)到旗舰级的 gte-Qwen3(数 GB)。

    3. 性能与精度的完美平衡

    all-MiniLM-L6-v2(仅 80MB)在 MTEB 排行榜上达到中上水平,推理速度却是最强模型的 10 倍。配合 Matryoshka 训练,768 维向量可截断为 384/256/128 维使用,存储和检索速度提升数倍,精度损失极小。

    4. 生产级可靠性

    2019 年开源至今,历经 6 年迭代,2800+ Fork、1300+ 贡献者,PyPI 月下载量超百万。Apache-2.0 许可完全免费商用,被 Google、Microsoft、Amazon、Meta 等大厂的内部系统广泛采用。

    🎯 适用人群: RAG 开发者、搜索工程师、NLP 算法工程师、推荐系统工程师、AI 全栈工程师。如果你正在构建任何需要”理解文本语义”的系统,Sentence Transformers 都是首选工具。

    📥 下载地址

    本文由 AI 自动整理,数据截至 2026 年 6 月。项目持续更新中,建议访问官方仓库获取最新信息。

  • 拿下5000万美元融资,这家公司要用「数字世界」逼出AI Agent的真本事

    Patronus AI 数字世界测试
    Patronus AI 用”数字世界”测试AI Agent

    AI Agent这两年进化得越来越快,从最开始只能答答题,到现在能自主跑完一整套多步骤的复杂任务。但有个问题一直没人能很好地回答:你敢把自己的行程预订、财务分析交给一个还没被充分验证过的agent吗?

    模型厂商和做agent的创业公司心里也清楚,光拿个高分基准测试成绩说明不了什么问题——agent在实际场景里能不能把事做对,才是真正的考验。

    “数字世界”是个什么玩法

    2023年,两个前Meta AI研究员Anand Kannappan和Rebecca Qian创办了Patronus AI。他们的思路很直接:既然Waymo是通过先构建合成世界来测试自动驾驶汽车应对极端天气、小孩追球这些罕见危险场景的能力,那AI agent为什么不能用类似的办法?

    Patronus做的就是这件事:用他们称之为”数字世界模型(digital world models)”的技术,创建网站和内部系统的副本。agent在训练完后,会被扔进这些模拟环境里接受压力测试——强化学习会在这个过程中迭代:任务完成了给奖励,出错了给惩罚。

    Notable Capital的管理总监Glenn Solomon说,前沿AI实验室和很多新兴创业公司现在都是他们的客户,对模拟环境的需求几乎是”无法满足的(insatiable)”。

    为什么Patronus能拿到5000万美元

    营收数据说话:过去一年,Patronus的营收增长了15倍。这不是小打小闹的POC(概念验证),而是实打实的客户需求在推动。本周四,公司宣布完成5000万美元B轮融资,由Greenfield Partners领投,Notable Capital、Lightspeed、Datadog和三星跟投。加上这一轮,Patronus总融资额已经达到7000万美元。

    投资人看中的是这个赛道的刚需。AI agent有个很讨厌的习惯:走捷径。它们看起来好像把任务做完了,实际上偷工减料,结果就是任务没被正确完成。Solomon说:”Patronus特别擅长发现这些取巧行为,确保模型被追责。”


    目前做到哪一步了

    Kannappan说,目前主要聚焦在”可验证的问题”上——就是那些你能立刻检查对错的任务,比如软件工程和金融分析。但这远不是终点。”有很多领域是非常难以验证的”,他补充道。

    Patronus的长期目标是构建能让agent运行10小时、10天甚至10周的环境。这个野心不小——意味着他们要模拟的不只是单次交互,而是长时间的、开放式的任务执行过程。

    竞争对手方面,Patronus认为主要对手其实是各家AI实验室自己搭的评估团队。的确,OpenAI、Anthropic、Google这些大厂都在内部做模型评估。但Patronus的差异化在于:它做的是自动化评估,不需要人类参与。相比之下,Mercor和Surge这类依赖人类数据的公司,走的是另一条路。

    AI agent能不能真正被大规模投入使用,测试和评估是很关键的一环。Patronus拿到这笔钱之后,这个赛道估计会变得更热闹。毕竟,谁能证明自己的agent最可靠,谁就能在接下来的商业化竞争中占得先机。

  • MoneyPrinterTurbo:AI 自动生成短视频,93K+ Stars 让创作零门槛

    MoneyPrinterTurbo:AI 自动生成短视频,93K+ Stars 让创作零门槛

    🎬 MoneyPrinterTurbo:AI 自动生成短视频,93K+ Stars 让创作零门槛

    基于 AI 大模型的短视频自动生成工具|支持中英文|一键跨平台发布

    93.1K+
    ⭐ GitHub Stars
    Python
    💻 主要语言
    MIT
    📄 开源许可
    35K+
    📈 本月新增

    📌 项目简介

    MoneyPrinterTurbo 是一款基于 AI 大模型的短视频自动生成工具,由开发者 harry0703 创建并维护。只需提供一个视频主题或关键词,系统即可全自动完成文案生成、素材匹配、字幕合成、背景音乐搭配,最终输出高清短视频(支持竖屏 9:16 和横屏 16:9)。

    项目在 GitHub 上已获得 93,118 Stars,是本月 GitHub 趋势榜 Python 类目第二名(新增 35,397 Stars),深受内容创作者和 AI 爱好者欢迎。

    🔧 安装要求和过程

    环境要求

    • Python 版本:3.11+(推荐,项目使用 uv 管理依赖)
    • 核心依赖:Streamlit(Web界面)、FastAPI(API服务)、MoviePy 2.x(视频处理)、ffmpeg
    • AI 服务:需配置至少一家 LLM 提供商 API Key(支持 15+ 家)
    • 素材服务:需配置 Pexels 或 Pixabay API Key(免费申请)

    快速安装(三种方式)

    方式一:Docker 部署(推荐)

    # 1. 安装 Docker Desktop(Windows 用户需先配置 WSL)
    # 2. 克隆项目
    git clone https://github.com/harry0703/MoneyPrinterTurbo.git
    cd MoneyPrinterTurbo

    # 3. 一键启动(自动拉取预构建镜像)
    docker compose -f docker-compose.release.yml up

    # 4. 访问
    # Web 界面:http://127.0.0.1:8501
    # API 文档:http://127.0.0.1:8080/docs

    方式二:本地手动部署

    # 1. 克隆项目
    git clone https://github.com/harry0703/MoneyPrinterTurbo.git
    cd MoneyPrinterTurbo

    # 2. 使用 uv 安装依赖(推荐)
    uv python install 3.11
    uv sync –frozen

    # 3. 配置 API Key
    cp config.example.toml config.toml
    # 编辑 config.toml,填入 pexels_api_keys 和 llm_provider 配置

    # 4. 启动 Web 界面
    uv run streamlit run ./webui/Main.py –server.showEmailPrompt=False

    # 5. 启动 API 服务(可选)
    uv run python main.py

    方式三:Windows 一键启动包

    GitHub Release 下载最新一键启动包,解压后先双击 update.bat 更新代码,再双击 start.bat 启动即可。

    ✨ 核心功能

    • AI 全自动文案生成:接入 15+ 家 LLM 服务商(OpenAI / DeepSeek / Kimi / 通义千问 / Gemini / Ollama 等),自动生成视频脚本,支持中英文双语。
    • 智能素材匹配:集成 Pexels、Pixabay、Coverr 三大无版权素材源,根据文案关键词自动匹配高清视频片段,也支持上传本地素材。
    • 多语音合成引擎:内置 Edge TTS(免费,无需 API Key)、Azure TTS V2、ElevenLabs TTS,支持 23+ 种语言,可实时试听效果。
    • 丰富字幕样式:支持自定义字体、位置、颜色、大小、描边效果,基于 Pillow 渲染(不再依赖 ImageMagick),字幕时间戳精确对齐。
    • 一键跨平台发布:生成完成后可自动上传至 TikTok、Instagram、YouTube Shorts(需 Upload-Post 账号),YouTube 发布自动标注”AI 生成内容”。

    🚀 典型使用场景

    场景一:知识科普短视频批量生产

    自媒体运营者需要每天发布 3-5 条科普短视频,但缺乏视频剪辑时间和素材。使用 MoneyPrinterTurbo,只需输入”量子计算入门””黑洞是什么”等主题,AI 自动生成文案并匹配宇宙、科技素材,10 分钟内完成 5 条视频生成,大幅降低内容生产成本。

    场景二:跨境电商产品宣传视频

    电商卖家需要为每款产品制作多语言宣传短视频。通过自定义文案 + 本地素材上传功能,批量生成中英双语产品介绍视频,配合一键跨平台发布功能,快速覆盖 TikTok、Instagram 等海外社媒渠道。

    场景三:本地 LLM 隐私保护场景

    对数据隐私有严格要求的企业用户,可配置 Ollama 本地 LLM 提供商,所有文案生成均在本地完成,无需将敏感信息发送至第三方 API,兼顾 AI 能力提升与数据安全合规。

    💡 推荐理由

    作为一个 AI 工具爱好者,我认为 MoneyPrinterTurbo 最打动人的地方在于它的「降维打击式」易用性

    • 零视频编辑基础也能用:传统视频制作需要掌握剪辑软件、素材版权、配音等多项技能,而 MoneyPrinterTurbo 把这些全部封装成一个 Web 界面,点几下鼠标就能出片。
    • AI 大模型生态友好:支持 Ollama 本地模型是一大亮点,意味着你可以在没有 API 费用的情况下无限生成文案,对个人创作者非常友好。
    • 开源且活跃:MIT 许可允许自由修改和商用,社区活跃(本月新增 35K+ Stars),Bug 修复和功能迭代速度快。
    • 不只是「玩具」:内置的批量生成、API 接口、跨平台发布等功能,已经让它具备了生产级工具的属性,而不只是一个 Demo。
    ⚠️ 使用提醒:AI 生成的视频内容请注意平台审核规则,YouTube 已要求标注”AI 生成内容”。另外,虽然素材来自无版权平台,但商业使用前建议再次确认素材许可协议。

    🛠️ 技术栈

    Python 3.11
    Streamlit
    FastAPI
    MoviePy 2.x
    ffmpeg
    Edge TTS
    Docker
    uv

    🤖 支持的 AI 模型

    MoneyPrinterTurbo 支持接入以下大模型服务(在 config.toml 中配置):

    # LLM 提供商列表(任选其一配置 API Key)
    OpenAI / AIHubMix / AIML API / EvoLink
    Moonshot(Kimi)/ Azure / gpt4free / one-api
    通义千问(Qwen)/ Google Gemini / DeepSeek
    MiniMax / 文心一言 / Pollinations / ModelScope
    Ollama(本地模型,无需 API Key)💡 推荐个人用户使用

    📥 下载地址

    📌 开源许可:MIT License,可自由使用、修改和分发,包括商业用途。
    🌟 项目热度:93,118 Stars | 本月新增 35,397 Stars | GitHub Python 趋势榜 Top 2
    💬 社区:Issues 和 PR 活跃,开发者响应及时。

  • 让AI替你面试——Stockholm创企想让招聘反过来玩

    Fika Jobs AI面试平台
    Fika Jobs平台让候选人与AI智能体进行视频面试(图源:Fika Jobs)

    找工作这件事,从来都是候选人适应雇主的规则。简历怎么写、Cover Letter怎么改、HR的AI筛选系统要什么关键词——全是雇主说了算。斯德哥尔摩创企Fika Jobs想把这套逻辑翻过来。

    6月23日,这家公司宣布完成400万美元pre-seed轮融资,由Luminar Ventures领投,Alliance VC和《Candy Crush》联合创始人Sebastian Knutsson、Riccardo Zacconi跟投。

    让AI替你面试

    Fika做的事情简单说就是:让AI智能体当面试官,把候选人的回答自动剪成短视频片段,做成一个持续更新的视频档案。雇主不用再对着一叠叠简历筛人,而是直接去浏览一个已经经过AI面试的候选者资料池。

    创始人兄弟Jakob Dubois(CEO)和Alexander Dubois(CTO)的灵感来自他们上一次创业的经历。当时他们在招人做社交应用Gaff,有个候选人的简历平平无奇,他们差点就不聊了。结果一通电话打过去,几分钟就发现这人有着他们想要的全部特质——有韧性、有野心、沟通利索。”简历根本看不出来这些”,Jakob说。

    Fika的操作流程是这样的:求职者先关联自己的LinkedIn档案,平台的AI会根据背景生成个性化面试问题,然后候选人和AI智能体进行一场大约10分钟的视频面试。面试用的是Google的Gemini模型驱动。结束后,Fika自动把回答切成短视频片段,整理成一个动态档案。

    和竞争对手不一样的地方

    和Alex、Maki、Mercor这些同样在用AI做招聘的工具不一样的是,Fika的重心在候选人这边。大多数竞品是帮雇主更高效地筛人,Fika想做的是让候选人建好一个视频档案之后,不用每投一个岗位就重新来一遍。

    平台的商业模式是:对求职者免费,对雇主也不收预付费用。成功录用后,Fika抽候选人年薪的10%作为佣金。创始人说这比传统猎头20%到30%的收费要低。

    传统猎头的收费一般是候选人年薪的20%到30%,Fika把这个数压到了10%,而且只有在成功录用后才收费。

    视频档案的偏见风险

    当然这个模式有明显的风险。视频档案意味着雇主能在看简历之前就看到候选人的种族、年龄、性别、外貌和口音——这些在纸质简历里至少是被部分遮蔽的信息。盲目简历筛选(blind resume screening)之所以被一些公司采用,就是为了避免这种前置偏见。Fika还没公开说明打算怎么处理这个问题。

    目前平台上的等待名单上已经有超过100家公司,另有50多家公司已经测试过平台,包括Plenty Labs、SICS.ai、Kognity和Rebtel。平台本周向候选人开放早期访问,计划在秋季全面公开上线。前期聚焦瑞典市场,之后再向国际扩张。

    Fika目前团队规模还小,预计到今年年底扩展到10人左右。


    这件事最有意思的地方在于:当雇主用AI筛简历变得越来越普遍,候选人这边也开始用AI来展示自己。招聘这个双边市场,两边都在被AI重塑——只是方向还不太一样。

  • FastAPI:构建AI服务API的现代化Python框架,80K+ Stars让API开发快如闪电

    FastAPI:构建AI服务API的现代化Python框架,80K+ Stars让API开发快如闪电

    FastAPI Logo

    FastAPI — 构建API的现代化Python框架

    📌 项目简介

    FastAPI 是基于 Python 3.8+ 类型提示构建的高性能 Web 框架,专为构建 API 设计。它结合了 Starlette(Web部分)和 Pydantic(数据验证部分)的优点,让开发者能够用最少的代码快速构建生产级 API 服务。FastAPI 已成为 AI/ML 服务部署的标配框架,被 Netflix、Uber、Microsoft 等公司广泛使用。

    80K+
    GitHub Stars

    8.5K+
    Forks

    4.6K+
    贡献者

    MIT
    开源许可

    ⚙️ 安装要求和过程

    环境要求

    • Python:3.8+ (推荐 3.10+ 获得最佳性能)
    • 操作系统:Windows / macOS / Linux 全平台支持
    • 依赖项:Starlette(Web框架)、Pydantic v2(数据验证)、Uvicorn(ASGI服务器)

    快速安装

    # 安装 FastAPI 和 Uvicorn(ASGI 服务器)
    pip install fastapi uvicorn
    
    # 如果需要所有可选依赖(包括 JSON Schema 生成、OAuth2 等)
    pip install fastapi[all]
    
    # 创建第一个 API
    # main.py
    from fastapi import FastAPI
    
    app = FastAPI()
    
    @app.get("/")
    async def root():
        return {"message": "Hello World"}
    
    # 启动服务
    # uvicorn main:app --reload

    依赖说明

    依赖 用途
    Starlette Web 框架核心,处理请求路由、中间件、WebSocket等
    Pydantic v2 数据验证和序列化,基于 Python 类型提示
    Uvicorn 高性能 ASGI 服务器,用于运行 FastAPI 应用
    httpx 异步 HTTP 客户端,用于测试

    🚀 核心功能

    1. 基于类型提示的自动数据验证

    利用 Python 3.8+ 的类型提示(Type Hints)和 Pydantic,FastAPI 自动对请求参数、请求体进行数据验证,无需手动编写验证逻辑。如果验证失败,自动返回清晰的错误信息。

    from fastapi import FastAPI
    from pydantic import BaseModel
    
    class Item(BaseModel):
        name: str
        price: float
        is_offer: bool = False
    
    app = FastAPI()
    
    @app.post("/items/")
    async def create_item(item: Item):
        return {"item_name": item.name, "price": item.price}

    2. 自动生成 API 文档(OpenAPI & JSON Schema)

    FastAPI 基于 OpenAPI 标准自动生成交互式 API 文档,无需额外配置。启动服务后访问 /docs 即可看到基于 Swagger UI 的交互式文档,访问 /redoc 可看到 ReDoc 文档。

    💡 自动文档:定义好 Pydantic 模型后,FastAPI 会自动生成符合 OpenAPI 规范的 JSON Schema,并渲染为可交互的文档界面,大大降低了前后端协作成本。

    3. 异步支持(async/await)

    基于 Python 的 async/await 语法,FastAPI 原生支持异步请求处理,能够充分利用现代 Python 的异步能力,处理高并发请求时性能卓越。与 Node.js 和 Go 相当的性能表现。

    4. 依赖注入系统

    <

    FastAPI 提供了强大而直观的依赖注入(Dependency Injection)系统,可以轻松实现认证、数据库连接、权限校验等横切关注点,代码复用率高且易于测试。

    from fastapi import Depends, HTTPException
    
    async def verify_token(token: str):
        if token != "secret":
            raise HTTPException(status_code=401)
        return token
    
    @app.get("/protected")
    async def protected_route(token: str = Depends(verify_token)):
        return {"message": "Authenticated!"}

    5. 安全性内置支持

    FastAPI 内置了 HTTP 基础认证、OAuth2、JWT、API Key 等多种认证方式,并提供了完整的安全工具函数,帮助开发者轻松构建安全的 API 服务。

    💡 典型使用场景

    场景一:AI/ML 模型服务化部署

    FastAPI 是 AI/ML 模型服务化部署的首选框架。结合 PyTorch/TensorFlow/ONNX Runtime,可以快速将训练好的模型封装为 HTTP API,供其他服务调用。

    from fastapi import FastAPI
    import torch
    from transformers import pipeline
    
    app = FastAPI()
    model = pipeline("sentiment-analysis")
    
    @app.post("/predict")
    async def predict(text: str):
        result = model(text)[0]
        return {"label": result["label"], "score": result["score"]}

    案例:Hugging Face 的 Inference API、Modal、Replicate 等 AI 推理平台都使用 FastAPI 作为底层 API 框架。

    场景二:微服务架构中的 API 网关

    FastAPI 的高性能和异步特性使其非常适合作为微服务架构中的 API 网关或边缘服务,负责请求路由、认证、限流、日志等横切关注点。

    案例:Netflix 使用 FastAPI 构建部分数据管道的 API 服务;Microsoft 在 Azure 的一些内部服务中使用 FastAPI。

    场景三:实时 WebSocket 应用

    FastAPI 基于 Starlette,原生支持 WebSocket,适合构建实时通信应用,如在线聊天、实时数据推送、协同编辑等。

    from fastapi import FastAPI, WebSocket
    
    app = FastAPI()
    
    @app.websocket("/ws")
    async def websocket_endpoint(websocket: WebSocket):
        await websocket.accept()
        while True:
            data = await websocket.receive_text()
            await websocket.send_text(f"Message: {data}")

    🌟 推荐理由

    FastAPI 是我个人最喜爱的 Python Web 框架,没有之一。以下是我的使用心得:

    • 开发效率极高:类型提示 + 自动验证 + 自动文档,让我能够专注于业务逻辑,而不是花时间写样板代码和文档。
    • 学习曲线平缓:如果你熟悉 Python 类型提示,只需一个下午就能上手 FastAPI。官方文档非常详细,包含大量示例代码。
    • 性能卓越:基于 Starlette 和 Pydantic,FastAPI 的性能可以媲美 Go 和 Node.js,在 Python Web 框架中属于第一梯队。
    • AI/ML 生态友好:FastAPI 是 AI/ML 社区的首选 API 框架,与 PyTorch、TensorFlow、Hugging Face Transformers 等库无缝集成。
    • 生产就绪:内置数据验证、序列化、认证、文档等生产级特性,不需要依赖大量第三方库。

    💡 个人建议:如果你正在构建 AI 服务的 API 接口,FastAPI 是不二之选。它不仅能提升你的开发效率,还能确保服务的性能和可维护性。我几乎所有 AI 相关的后端项目都使用 FastAPI。

    📊 技术对比:FastAPI vs Flask vs Django

    特性 FastAPI Flask Django
    性能 ⭐⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐
    异步支持 原生支持 需第三方库 部分支持
    数据验证 自动(Pydantic) 需手动/Marshmallow Forms/Serializers
    API 文档 自动生成 需第三方库 DRF 支持
    学习曲线 平缓 最平缓 陡峭
    适用场景 API 服务、AI/ML 小型应用、原型 全栈 Web 应用

    📥 下载地址

    快速开始

    # 安装 FastAPI 和 Uvicorn
    pip install fastapi uvicorn
    
    # 创建 main.py
    from fastapi import FastAPI
    
    app = FastAPI()
    
    @app.get("/")
    async def root():
        return {"message": "Hello FastAPI"}
    
    # 启动开发服务器
    uvicorn main:app --reload
    
    # 浏览器访问 http://localhost:8000/docs

    🚀 同类推荐

    如果你喜欢 FastAPI,还可以关注:

    • Starlette:FastAPI 的底层 Web 框架,如果你需要更底层的控制
    • Pydantic:FastAPI 使用的数据验证库,也可独立使用
    • Uvicorn:FastAPI 推荐的 ASGI 服务器
    • Flask:轻量级 Web 框架,适合小型项目
    • Django REST Framework:如果你需要全栈 Web 框架 + API

    📌 本文定期更新,最后更新:2026年6月 | 项目GitHub:fastapi/fastapi

  • AI智能体开始”套娃”:让AI监督AI,这个循环能一直跑下去吗?

    当AI开始监督AI

    上週五,Meta办了一场@Scale技术大会。会上有一个环节,登场的是Anthropic旗下Claude Code的负责人Boris Cherny。问答环节刚开始,观众席上就有人问了一个看起来有点奇怪的问题:「Loops是下一个炒作周期,还是来真的?」

    Cherny的回答很干脆:「来真的。」

    他接着解释了一下为什么。他说,两年前我们还手写源代码。后来过渡到让AI智能体帮我们写代码。现在正处在下一个过渡期:让智能体去提示其他智能体,再由那些智能体来写代码。「从源代码到智能体这一步有多大,loops这一步就有多大。」

    这段话在会场里可能听起来很自然,但跳出来看,它描述了一个相当激进的变化。我们过去对AI智能体的想象,基本上是一个人下指令、AI执行、然后回报结果。Cherny描述的却是一个没有终点的过程:一群智能体在背景里不停工作,永远不会停止。

    AI智能体循环概念图
    AI智能体相互提示的循环结构(概念图)

    Cherny自己就在跑的loop

    Cherny在演讲后面(YouTube视频32分左右)具体讲了他自己在用的loops。他有一个智能体专门负责寻找改进代码架构的方法,另一个智能体负责寻找可以统一的重复抽象。它们像任何一个程序员一样提交pull request,而且因为代码在不断变化,它们永远不会停止运行。

    这个想法很有意思。过去几个月,大家讨论AI智能体的时候,重点一直是怎样把智能体管理好:设定清楚的目标、检查进度、别让它跑太远。Loop把这件事往前推了一步:授权一群智能体在背景里持续工作,没有尽头。这需要对于AI有很大的信任,但随着模型进步得越来越快,这可能是让AI真正处理实际工作的下一步。

    「从源代码到智能体这一步有多大,loops这一步就有多大。」—— Boris Cherny,Anthropic Claude Code 负责人

    技术上来说,这不算是全新的东西

    递归循环(recursive loops)——函数调用自己来重复一个动作,再加上一个停止条件——是计算机科学入门课程的标准内容。只不过这些loop遵循的是非决定论逻辑:由一个子智能体来决定什么时候停止循环,而不是一个清楚的条件。但基本方法是一样的。程序员一开始用AI来完成任务,某种版本的递归循环(由AI监督AI)迟早会出现。

    跟传统计算不一样的地方在于,智能体loop可以简单得让人抓狂。现在最流行的技巧之一叫「Ralph Loop」(以Ralph Wiggum命名),原理基本上就是把模型做过的所有工作总结一下,然后问它有没有达成目标。这是在处理AI模型跑太久之后迷路的问题——本质上就是不断让模型来回反弹,直到任务完成。

    跟test-time compute的关系

    另一个理解loop的方式是把它看成「增加test-time compute」这股大趋势的一部分。OpenAI研究员Noam Brown本月初观察到,当代模型只要砸足够的算力进去,几乎可以解决任何问题。这意味着确保一个问题被解决的方法之一,就是不断砸算力进去直到它完成。

    对于像改进代码库这种「爬山」问题来说尤其如此,模型可以一直做增量改进直到达到某个阈值。或者,像Cherny的例子一样,只要有算力可以花,它就可以一直做增量改进。

    成本是个大问题

    如果这听起来很贵,那是因为它真的很贵。跟agentic AI一样,AI loops烧token的速度比简单的问答聊天机器人快得多——而且因为重点是让loop一直跑下去,你能花多少钱是没有上限的。对Anthropic来说这没问题,因为它本质上就是在卖token。但对其他所有人来说,这可能是一种很贵的工作方式。

    话说回来,只要智能体loop要解决的问题值得,而且有适当的设置来监控token支出、漂移和其他典型的AI问题,好处可能大到足以抵消成本。


    这篇文章让我思考一个问题:我们到底要让AI跑到多远?当智能体开始监督其他智能体,当loop可以永远跑下去,人类在这个过程里还扮演什么角色?Cherny显然认为这是下一步,而且他说这话的时候很有说服力。但成本问题不解决,这可能只是大公司才能玩得起的游戏。