标签: AI开源项目

  • TensorRT LLM:NVIDIA 开源的高性能大模型推理引擎,14.2K Star

    TensorRT LLM:NVIDIA 开源的高性能大模型推理引擎,14.2K Star

    项目简介

    TensorRT LLM 是 NVIDIA 开源的高性能大语言模型(LLM)与视觉生成模型推理优化库。它在 NVIDIA GPU 上提供最先进的定制内核、运行时优化和 Python 化高层 API,能把主流开源/自研大模型的推理延迟压到更低、吞吐拉到更高——从单张 RTX 显卡到多机 NVL72 集群都能统一部署。

    TensorRT LLM

    安装要求和过程

    环境要求

    • GPU:NVIDIA GPU(推荐 Ampere / Ada / Hopper / Blackwell 架构)
    • CUDA:CUDA 13.2.1(以 README 当前 badge 为准)
    • Python:3.10 或 3.12
    • PyTorch:2.11.0
    • 系统:Linux(主要支持)、Windows、WSL2

    快速安装

    # 推荐通过 pip 安装最新 release
    pip install tensorrt_llm
    
    # 或使用预编译容器(避免环境踩坑)
    docker pull nvcr.io/nvidia/tritonserver:26.05-trtllm-python-py3
    
    # 验证安装
    trtllm-serve --help

    更复杂的源码编译或多节点部署可参考官方安装指南:Installation Guide

    核心功能

    TensorRT LLM 架构分层

    • PyTorch 原生架构:模型定义直接写 PyTorch,调试、扩展、自定义注意力/量化都更直观。
    • 高层 LLM API:一行代码从 Hugging Face 加载模型,自动编译 TensorRT engine,支持单卡、张量并行、流水线并行、专家并行。
    • State-of-the-Art 内核:针对 Attention、GEMM、MoE 等常见算子手写 CUDA kernel,充分发挥 Tensor Core 算力。
    • 丰富的高级特性:FP8/FP4/INT4 AWQ 量化、KV Cache 复用、投机解码、Prefix Caching、CUDA Graphs、Prefill-Decode 解耦等。
    • 生产级部署生态:原生兼容 NVIDIA Dynamo、Triton Inference Server,也能作为 vLLM、SGLang 等框架的后端。

    典型使用场景

    TensorRT LLM 核心优化技术

    1. 高并发在线服务

    在 H100/H200/B200 集群上部署 Llama、DeepSeek、Qwen 等模型,配合 Tensor Parallelism 和 Disaggregated Serving,把单用户延迟压到百毫秒级,同时保持数千 token/s 的聚合吞吐。

    2. 本地化推理与边缘部署

    通过 INT4/FP4 量化和 Weight-Stripped Engines,在单张 RTX 4090 或 Jetson AGX Orin 上运行 70B 级别模型,满足私有化、低功耗场景需求。

    3. Agent 与长上下文应用

    利用 Prefix Caching 和 chunked context,在多轮工具调用、RAG、代码补全等长上下文场景中显著降低首 token 时延。

    推荐理由

    TensorRT LLM 是 NVIDIA 在大模型推理领域的“官方解法”。它不是简单的封装,而是从 kernel、runtime 到 serving 的垂直优化。2025 年 3 月后项目已完全开源并迁到 GitHub 维护,社区活跃、文档详尽,对追求极致吞吐和成本控制的生产环境尤其友好。虽然硬件门槛是 NVIDIA GPU,但如果你已经在 CUDA 生态里,它基本是目前能把模型跑得最快、最省显存的工具之一。

    下载地址

  • Kronos:首个金融K线开源基础模型,45+交易所数据预训练,33.5K Stars(AAAI 2026)

    Kronos:首个金融K线开源基础模型,45+交易所数据预训练,33.5K Stars(AAAI 2026)

    Kronos 两阶段框架总览

    项目简介

    Kronos首个面向金融 K 线(蜡烛图)的开源基础模型——由清华大学团队开源,在全球 45+ 家交易所的行情数据上预训练,把 OHLCV 序列当作”金融市场的语言”来建模,一个模型通吃价格预测、波动率估计等多种量化任务。论文已被 AAAI 2026 录用,GitHub 上已收获 33,000+ Stars,是今日 GitHub Trending 上最亮眼的 AI × 金融项目。

    与通用时间序列基础模型(TSFM)不同,Kronos 专门针对金融数据高噪声、多维联动的特性设计了两阶段框架:

    1. 分层离散化 Tokenizer:把连续的多维 K 线数据(开高低收 + 量额)量化为分层离散 token;
    2. 自回归 Transformer:decoder-only 架构在海量 token 序列上预训练,像 GPT “续写文本”一样”续写行情”。

    安装要求和过程

    环境要求

    • Python 3.10+
    • PyTorch(GPU 可选,CPU 也能跑小模型推理)
    • 微调需要 NVIDIA GPU(支持 torchrun 多卡)+ 可选 Qlib 数据环境

    快速安装

    # 1. 克隆仓库
    git clone https://github.com/shiyu-coder/Kronos.git
    cd Kronos
    
    # 2. 安装依赖
    pip install -r requirements.txt

    三行代码开始预测

    from model import Kronos, KronosTokenizer, KronosPredictor
    
    # 从 Hugging Face Hub 加载预训练模型
    tokenizer = KronosTokenizer.from_pretrained("NeoQuasar/Kronos-Tokenizer-base")
    model = Kronos.from_pretrained("NeoQuasar/Kronos-small")
    predictor = KronosPredictor(model, tokenizer, max_context=512)
    
    # df 为含 open/high/low/close(/volume/amount) 的 DataFrame
    pred_df = predictor.predict(df=x_df, x_timestamp=x_timestamp,
                                y_timestamp=y_timestamp, pred_len=120,
                                T=1.0, top_p=0.9, sample_count=1)

    KronosPredictor 封装了数据预处理、归一化、预测与反归一化全流程,返回未来 OHLCV 的完整 DataFrame;还提供 predict_batch 批量并行预测多个标的。

    Kronos 预测结果与真实行情对比

    核心功能

    • 金融专用基础模型家族:开源 Kronos-mini(4.1M 参数、2048 上下文)、Kronos-small(24.7M)、Kronos-base(102.3M)三档模型,全部可在 Hugging Face(NeoQuasar)直接下载,按算力自由选择;
    • 两阶段”金融语言”建模:分层离散化 Tokenizer 把高噪声 OHLCV 压成 token,自回归 Transformer 统一建模,一个模型服务多种量化任务;
    • 概率化采样预测:支持温度 T、top-p 核采样、sample_count 多路径平均,不只给单点预测,还能刻画行情的不确定性;
    • 完整微调管线:官方提供基于 Qlib 的 A 股微调全流程脚本——数据预处理 → Tokenizer 微调 → Predictor 微调(torchrun 多卡)→ Top-K 策略回测,一条龙跑通;
    • 在线 Live Demo:官方部署了 BTC/USDT 未来 24 小时预测的可视化演示页,无需安装即可直观感受模型效果。

    A股微调后回测累计收益曲线示例

    典型使用场景

    1. 量化研究信号生成:把 Kronos 的预测价格变动作为原始 alpha 信号,接入组合优化与风险中性化流程,用于选股/择时研究——官方 A 股示例展示了从 Qlib 数据到 Top-K 策略回测的完整路径;
    2. 加密货币/外汇短线预测:对 BTC/USDT 等 7×24 交易品种做未来数小时至一天的 K 线走势与波动区间预测(官方 Live Demo 场景),辅助仓位与风控决策;
    3. 自有市场数据微调:券商、私募或个人研究者用自己的分钟线/日线数据微调 Tokenizer + Predictor,让基础模型适配特定市场微观结构,替代从零训练的高昂成本。

    推荐理由

    时间序列基础模型不少,但真正”懂金融”的开源模型 Kronos 是第一个。我实际体验下来有三点印象很深:

    一是门槛低得惊人——pip install -r requirements.txt 加几行 Python 就能跑通预测,KronosPredictor 把归一化、截断、反归一化这些脏活全包了,量化新手也能十分钟上手;二是学术与工程兼备——AAAI 2026 论文背书、45+ 交易所数据预训练,同时给足了 torchrun 多卡微调和 Qlib 回测的工程脚本,不是只发权重不管落地的”论文模型”;三是诚实——README 明确提醒示例回测只是演示,生产级策略还需要组合优化、风险因子中性化、交易成本建模,这种不吹牛的态度在 AI × 金融领域难能可贵。

    需要注意:模型输出是概率性预测而非投资建议,直接拿裸信号实盘风险很高;Kronos-large(499M)暂未开源,开源版本上下文长度上限 512(mini 为 2048)。适合量化研究者、金融工程学生和对”AI 预测行情”认真感兴趣的开发者。

    下载地址

    许可证:MIT | 语言:Python | Stars:33.5K+ | 数据截至 2026-07-25

  • World Monitor:73K Stars 的开源「全球实时情报仪表盘」,AI 新闻聚合 + 地缘监控 + 金融雷达一屏搞定

    World Monitor:73K Stars 的开源「全球实时情报仪表盘」,AI 新闻聚合 + 地缘监控 + 金融雷达一屏搞定

    World Monitor 主仪表盘:3D 地球 + 多面板全球态势感知界面

    项目简介

    World Monitor 是一个开源的「实时全球情报仪表盘」——它把 500+ 精选新闻源、地缘政治事件、金融市场、大宗商品、航班、网络安全等 65+ 数据提供方聚合到一个统一的态势感知界面中,并用 AI 自动合成简报,支持完全本地化运行(Ollama,无需任何 API Key)。项目由开发者 Elie Habib 打造,目前在 GitHub 上已收获 73,000+ Stars,近日单日暴涨 3,000+ 星登顶 Trending 榜首,采用 AGPL-3.0 许可。

    安装要求和过程

    环境要求

    • Node.js 18+ 与 npm(Web 开发模式)
    • 可选:Ollama(本地 AI 摘要,无需云端 API Key)
    • 桌面版:直接下载 Windows (.exe) / macOS (Apple Silicon & Intel) / Linux (.AppImage) 安装包,零依赖

    快速安装(三分钟跑起来)

    # 1. 克隆仓库
    git clone https://github.com/koala73/worldmonitor.git
    cd worldmonitor
    
    # 2. 安装依赖并启动
    npm install
    npm run dev
    # 打开 http://localhost:3000,无需配置任何环境变量即可运行
    
    # 3. 想跑其他变体站点?
    npm run dev:tech       # 科技版
    npm run dev:finance    # 金融版
    npm run dev:commodity  # 大宗商品版
    npm run dev:energy     # 能源版

    命令行与 SDK 用户还可以直接:

    npx worldmonitor tools          # 免安装列出全部 MCP 工具
    npm install -g worldmonitor     # 安装 worldmonitor / wm 命令
    pip install worldmonitor-sdk    # Python SDK
    gem install worldmonitor        # Ruby SDK

    部署方面官方提供 Vercel、Docker、纯静态三种自托管方案,详见自托管指南

    核心功能

    World Monitor WebGL 平面地图(deck.gl),56 种地图图层

    • 500+ 新闻源 AI 简报:横跨 15 个类别的精选信息流,由 AI 自动去重、聚类并合成态势简报,支持 25 种语言(含 RTL 排版)与本地语种信息源。
    • 双地图引擎 + 56 种图层:globe.gl 3D 地球与 deck.gl WebGL 平面地图随意切换,叠加军事、灾害、航班(ADS-B)、基础设施、网络攻击等 56 类图层。
    • 跨信号关联与国家不稳定指数(CII v8):军事、经济、灾害、升级信号交叉关联,对 31 个一级国家做服务端权威压力评分,把「新闻」变成「预警」。
    • 金融雷达:覆盖 29 家证券交易所、大宗商品与加密货币,内置 7 信号市场综合指标,金融版变体开箱即用。
    • 本地 AI + Agent 友好:全部 AI 功能可用 Ollama 本地跑;同时提供 MCP Server、REST API(OpenAPI 规范)、CLI 和 Python/Ruby/Go 三语言官方 SDK,一套代码还能构建 6 个变体站点和 Tauri 2 原生桌面应用。

    典型使用场景

    1. 个人「全球情报中心」:替代十几个新闻 App 和推特列表,一屏看完地缘政治、突发灾害、市场异动,AI 简报直接给结论,配合桌面版常驻第二屏幕。
    2. 投研/宏观分析辅助:金融版聚合全球股指、商品、加密行情与新闻信号关联,CII 国家风险评分可作为宏观风险监控的免费开源替代。
    3. AI Agent 的实时世界数据源:通过 MCP Server(worldmonitor.app/mcp)或 SDK,让 Claude、自建 Agent 直接调用「某国当前风险评分」「最新升级信号」等工具,为智能体注入实时地缘与市场感知能力。

    推荐理由

    我把 World Monitor 挂在副屏跑了一天,感受是:这大概是开源界最接近「彭博终端 + 战情室」体验的项目。最打动我的有三点:一是信息密度与工程质量惊人——281 个 Protobuf 契约、60+ Vercel Edge Functions、三级缓存,纯 TypeScript 写出来的性能相当扎实;二是本地优先的 AI 设计,接上 Ollama 就能全功能离线跑,不用交出任何 API Key;三是对 Agent 生态的拥抱,MCP + OpenAPI + 三语言 SDK + llms.txt 一应俱全,拿它当智能体的「世界感知层」非常顺手。需要注意的是 AGPL-3.0 许可,商用集成到闭源产品前要评估合规或购买商业授权。如果你关注全球局势、做宏观投研,或者想给自己的 AI Agent 加上实时世界数据,这个项目值得一颗星。

    下载地址

  • Open Code Review:阿里巴巴开源的 AI 代码评审 CLI,Token 只用 1/9 却更精准

    Open Code Review:阿里巴巴开源的 AI 代码评审 CLI,Token 只用 1/9 却更精准

    如果你用过 Claude Code 之类的通用 Agent 做代码评审,大概率遇到过这些坑:改动一多就”偷工减料”只看部分文件、报出来的问题行号对不上、换个提示词质量就飘。Open Code Review(OCR) 是阿里巴巴刚开源的一款 AI 代码评审命令行工具,它把”确定性工程”和”Agent 动态决策”拧在一起,专门解决这些问题。项目上线不久便冲上 GitHub Trending,目前已收获约 12.2K Stars

    Open Code Review 功能亮点
    Open Code Review 功能亮点(图片来源:项目 README)

    一句话简介

    Open Code Review 是阿里巴巴开源的 AI 代码评审 CLI 工具——读取 Git diff,交给可配置的大模型 Agent 进行带工具调用的深度评审,产出行级精准的结构化评审意见。它源自阿里内部使用两年、服务数万开发者、累计发现数百万代码缺陷的官方评审助手,经大规模验证后开源。

    安装要求与快速上手

    环境要求

    • Git ≥ 2.41:OCR 依赖 Git 生成 diff、检索代码与仓库操作。
    • 支持 Windows / macOS / Linux 三大平台;需要配置一个大模型接口(OpenAI / Anthropic 兼容即可),或使用”委托模式”无需配模型。

    安装(npm 全局安装)

    npm install -g @alibaba-group/open-code-review

    安装完成后,全局即可使用 ocr 命令。也支持安装脚本、GitHub Release 二进制、源码编译等方式。

    配置模型

    # 选择内置服务商或添加自定义服务商
    ocr config provider
    # 为当前服务商选择模型
    ocr config model

    交互式界面会引导你完成服务商选择、API Key 填写与模型配置,并自动测试连通性。

    模型配置界面
    交互式模型配置界面(图片来源:项目 README)

    开始评审

    cd your-project
    
    # 工作区模式:评审所有暂存/未暂存/未跟踪的改动
    ocr review
    
    # 分支范围:对比两个 ref
    ocr review --from main --to feature-branch
    
    # 单个 commit
    ocr review --commit abc123
    
    # 整文件扫描:不看 diff,直接审阅整个仓库或指定目录
    ocr scan
    ocr scan --path internal/agent

    核心功能

    • 确定性工程 × Agent 混合架构:对”绝不能出错”的评审步骤(选文件、匹配规则、定位行号)用工程逻辑硬约束保证正确,把动态决策与上下文检索交给 Agent,各司其职。
    • 精准选文件 + 智能打包:明确判定哪些文件需评审、哪些应过滤;把关联文件(如中英两份 message 属性文件)打包为一个评审单元,每包作为隔离上下文的子 Agent 并发运行,在超大改动集上依然稳定。
    • 行级精准定位 + 反思模块:独立的评论定位与评论反思模块,系统性提升 AI 反馈的位置准确度与内容准确度,避免”行号漂移”。
    • diff 评审 + 整文件扫描ocr review 审阅改动,ocr scan 审阅整份文件——适合审计陌生代码库或没有有意义 diff 的目录。
    • 丰富集成能力:内置 MCP Server 扩展工具、CI/CD 集成(GitHub Actions / GitLab CI / Gerrit 等),并可作为 Skill 或插件接入 Claude Code、Codex、Cursor;浏览器端 Session Viewer 可回放评审过程。

    性能基准

    官方基于 50 个热门开源仓库、200 个真实 PR、10 种编程语言构建了真实世界评审基准,由 80+ 资深工程师交叉标注出 1505 个基准问题。结果显示:在同一底座模型下,OCR 的 准确率(Precision)与 F1 显著更高,而 Token 消耗仅约通用 Agent 的 1/9、评审更快;召回率略低,是”以精度换噪声”的有意取舍。

    性能基准对比
    在同一底座模型下的基准表现概览

    典型使用场景

    • 提交前自检:在本地 ocr review 一把,把行级问题在推送前就修掉,减少来回改 PR 的成本。
    • CI 流水线自动评审:接入 GitHub Actions / GitLab CI,对每个 PR 自动评审并留下行级评论,低 Token 成本让团队大规模跑得起。
    • 审计陌生代码库:接手老项目或第三方代码时用 ocr scan 整文件扫描,快速摸清 NPE、线程安全、XSS、SQL 注入等隐患。

    推荐理由

    市面上”给 Agent 套个 Skill 就当代码评审”的方案不少,但真正在工程上把稳定性做扎实的不多。OCR 最打动我的一点,是它没有一味迷信大模型,而是把”该确定的地方交给工程、该灵活的地方交给 Agent”这条边界划得很清楚——这正是它能在阿里内部大规模跑两年、且在基准上只花约 1/9 Token 就拿到更高精度的原因。对追求 CI 成本可控、又不想被误报刷屏的团队来说,这是个值得一试的选择。它还内置了针对 NPE、线程安全、XSS、SQL 注入等常见缺陷的微调规则集,开箱即用。

    下载地址

  • Buzz:Block 开源的”人机同室”协作平台,让 AI 智能体成为团队正式成员 | GitHub 今日 Trending 榜首

    Buzz:Block 开源的”人机同室”协作平台,让 AI 智能体成为团队正式成员 | GitHub 今日 Trending 榜首

    Buzz 项目频道:人与智能体在同一房间协调发布计划
    Buzz 项目频道:人与智能体在同一房间协调发布计划

    项目简介

    Buzz 是 Block, Inc.(Square/Cash App 母公司,也是知名开源智能体 goose 的东家)开源的一款「人类与 AI 智能体共处一室」的自托管协作工作空间——用一条 Nostr 签名事件日志,把聊天、代码评审、CI、工作流、审批和项目记忆统一到同一个 Relay 上,智能体和人拥有完全相同的操作界面与审计轨迹。今日登顶 GitHub Trending 榜首(单日 +2,100 星),目前已收获 7,600+ Stars,Rust 编写,Apache-2.0 许可。

    一句话概括:Slack + GitHub + CI 面板 + 自动化胶水代码,被压缩成一个你自己掌控的事件日志;智能体不再是”闹鬼的定时任务”,而是房间里的正式成员。

    一条签名事件日志,统一七种工具
    一条签名事件日志,统一七种工具

    安装要求和过程

    环境要求

    • 只想试用桌面应用:直接下载打包版,macOS(.dmg)/ Linux(.AppImage / .deb)/ Windows(.exe),无需任何依赖
    • 自托管 / 源码运行:Docker + Hermit(或 Rust 1.88+、Node 24+、pnpm 10+、just)
    • Windows 额外要求:安装 Git for Windows(智能体 Shell 工具依赖 Git Bash,可用 BUZZ_SHELL 指向其他 bash 兼容 Shell)

    快速安装

    方式一:下载安装包(最简单)

    GitHub Releases 下载对应平台安装包,像普通应用一样安装。默认连接 ws://localhost:3000,可通过 BUZZ_RELAY_URL 环境变量或应用内切换 Relay。

    方式二:源码构建 + 自托管(开发者路径)

    # 克隆并激活固定工具链(工具首次使用自动下载)
    git clone https://github.com/block/buzz.git && cd buzz
    . ./bin/activate-hermit
    
    # 一次性初始化:复制 .env、启动 Docker 服务 + 数据库迁移
    just setup && just build
    
    # 日常开发:同时启动 Relay + 桌面应用
    just dev
    

    Relay 跑在 ws://localhost:3000,桌面应用自动弹出。智能体侧设置 BUZZ_PRIVATE_KEY 后即可使用 buzz-cli(JSON 进 / JSON 出,为 LLM 工具调用而设计)。

    核心功能

    智能体是成员,不是机器人——像添加同事一样把智能体拉进频道
    智能体是成员,不是机器人——像添加同事一样把智能体拉进频道
    1. 智能体是”正式成员”而非外挂机器人——每个智能体持有自己的密钥、自己的频道成员身份、自己的审计轨迹,能开仓库、发补丁、评审代码、跑工作流、编辑画布、进语音房间,操作面与人类teammate完全一致,权限按身份而非标志位划分。
    2. 一条事件日志统一一切——消息、表情回应、工作流步骤、评审批准、Git 事件(NIP-34 补丁/仓库公告/状态)全部是同一形状的 Nostr 签名事件,同一身份模型、同一搜索索引、同一审计链。
    3. 分支即房间——开一个 feature 分支就自动生成一个频道,补丁、CI 结果、智能体首轮评审、同事表情反馈和最终合并决定都留在同一个房间里,”这段代码为什么存在”从此有据可查。
    4. YAML 工作流自动化——支持消息 / 表情回应 / 定时 / Webhook 四种触发器;一个 👍 表情就能作为审批门放行一次发布,且每一步都被签名、可搜索。
    5. ACP 智能体接入 + 完整的 Rust Crate 生态——buzz-acp 桥接 ACP↔MCP,官方已适配 goose、Codex、Claude Code;buzz-persona 提供智能体人格包;git-sign-nostr 实现 Nostr 签名的 Git 操作。桌面端 Tauri + React,后端 Postgres + Redis + S3/MinIO。
    Buzz 架构:Relay 是唯一事实来源
    Buzz 架构:Relay 是唯一事实来源

    典型使用场景

    1. 凌晨两点的事故记忆:线上报错,你在频道里问一句”这个错误以前见过吗?”,值守频道的智能体翻出六个月的历史,贴出相关线程、根因和修复记录,并主动提出呼叫上次修复的人——问、答、证据全部留在频道里。
    2. 会自己写发布说明的 Release:打 tag 触发工作流,智能体读取项目频道里合并的 PR,起草 Release Notes 发给人类审阅,收到 👍 表情后自动发布——每一步签名、每一步可搜索。
    3. 不交出”王国钥匙”的 Bug 分诊:让智能体在限定频道内分诊 Bug,它的密钥、成员身份和审计轨迹与人类隔离,像管理一个新同事一样管理它的可见范围,而不是给它一把全局 API Key。
    可讨论的媒体:评论钉在视频的具体帧上
    可讨论的媒体:评论钉在视频的具体帧上

    推荐理由

    我把 Buzz 跑起来体验后的最大感受是:它认真回答了”智能体在团队里应该以什么身份存在”这个问题。市面上的方案大多把 AI 塞进聊天工具当 bot,或者塞进 CI 当脚本,权限靠一堆 API Key 拼凑,出了事没法追溯。Buzz 的答案干脆利落——给智能体一把自己的密钥,让它跟人用同一套协议、进同一个房间、留同一种审计记录。

    值得注意的三点:一是出身硬,Block 是 goose 的东家,这套 ACP harness 直接兼容 goose/Codex/Claude Code,不是玩具;二是技术选型有味道,Nostr 协议的签名事件模型天然适合”人机同权”的审计需求,且不含任何区块链代币成分(README 原话:不用买纪念币);三是坦诚,README 明确列出”今天能用 / 正在接线 / 只有想法”三栏,移动端和推送还在路上。如果你的团队正被 Slack + GitHub + CI 面板 + 各种 bot 胶水折磨,这个”一个基底替代七个标签页”的赌注非常值得关注。

    下载地址


    项目数据(截至 2026-07-24):7,648 Stars · 608 Forks · 语言 Rust · 许可 Apache-2.0 · 创建于 2026-03 · 今日 GitHub Trending 榜首(单日 +2,100 星)

  • Open Multi-Agent —— 描述目标而非流程图的 AI 多智能体编排框架

    Open Multi-Agent —— 描述目标而非流程图的 AI 多智能体编排框架

    项目简介

    Open Multi-Agent(简称 OMA)是一个面向 TypeScript 后端的 AI 多智能体编排框架,核心理念是「描述目标,而非流程图」。你只需告诉 OMA 你想达成什么目标,框架内置的 Coordinator 就会在运行时自动将目标拆解为任务 DAG(有向无环图),分派给团队中的各个 Agent 执行,最终汇总结果。

    OMA 于 2026 年 3 月在 GitHub 开源,采用 MIT 许可证。截至本文撰写时已获得 6,646 Stars / 2,415 Forks,社区活跃度极高——从首次提交至今仅约 4 个月,已成为多智能体编排领域增长最快的项目之一。

    Open Multi-Agent

    安装要求与快速开始

    环境要求

    • Node.js ≥ 18(推荐 LTS 版本)
    • TypeScript ≥ 5.6(OMA 使用最新 TS 特性)
    • npmyarn/pnpm 包管理器
    • LLM API Key(OpenAI / Anthropic / Gemini / DeepSeek 等,或本地模型如 Ollama)

    方式一:脚手架创建(推荐新手)

    # 一键创建项目并运行本地演示(无需 API Key)
    npm create oma-app@latest my-oma-app

    交互式终端会引导选择模板和运行时,安装依赖后直接启动一个确定性本地 Demo——无需任何 API Key,使用脚本化模拟响应驱动真实的调度器和离线 Dashboard。可用 --no-install 仅生成文件,或 --no-run 安装但不启动。

    方式二:集成到现有 Node.js 项目

    npm install @open-multi-agent/core
    import {{ OpenMultiAgent }} from '@open-multi-agent/core'
    
    const oma = new OpenMultiAgent({{
      defaultProvider: 'openai',
      defaultModel: 'gpt-5.4'
    }})
    
    // 创建研究团队:研究员 + 分析师 + 共享记忆
    const team = oma.createTeam('research-team', {{
      agents: [
        {{ name: 'researcher', systemPrompt: 'Find the relevant facts.' }},
        {{ name: 'analyst', systemPrompt: 'Compare evidence and identify tradeoffs.' }}
      ],
      sharedMemory: true,
    }})
    
    // 只需描述目标,Coordinator 自动规划 DAG 并执行
    const result = await oma.runTeam(team, 'Compare three approaches and recommend one.')
    console.log(result.agentResults.get('coordinator')?.output)

    三种执行模式:runTeam() 从目标规划执行、runAgent() 单 Agent 运行、runTasks() 显式流水线执行。

    核心功能

    OMA 工作原理

    1. 动态工作流编排(Dynamic Orchestration)

    这是 OMA 最核心的差异化能力。与传统框架需要手写 DAG 节点不同,OMA 的 Coordinator 在运行时根据目标描述生成任务图、分配角色、设定依赖关系,最后综合各 Agent 结果输出答案。整个流程不需要维护硬编码的流程图。

    2. 可控执行(Controlled Execution)

    • 计划审批:预览并审批 Coordinator 生成的计划或单个分派操作,审批通过后可冻结计划用于回放复现
    • 约束声明:当拓扑不能漂移时,声明必需的角色和顺序;用多智能体共识验证输出正确性

    3. 生产级可靠性

    • 检查点续跑:中断的运行可从最近检查点恢复
    • 边界控制:重试策略、超时限制、循环检测、Token 和成本预算确保执行有界
    • 工具安全:默认拒绝所有工具调用,逐个审批开启;支持隐私控制

    4. 全链路可观测性

    每次运行都有稳定身份标识、执行回执和完整追踪记录:

    • TraceStore:本地存储追踪数据,支持查询
    • Run Viewer:离线 Dashboard 回放真实运行的 Task DAG 和 Span 瀑布视图
    • OpenTelemetry 集成:可选 OTel 插件,与企业统一监控栈对接

    5. 开放运行时(Open Runtime)

    • Agent 兼容:Process/ACP 后端让 Claude Code、Gemini CLI、Codex 与 LLM Agent 在同一 DAG 上协作
    • 模型自由:云+本地混合、原生中文大模型支持、OpenAI 兼容端点、AI SDK Provider
    • 部署灵活:自有基础设施、本地运行、完全离线、甚至气隙网络环境均可

    典型使用场景

    场景一:PR 自动审查(PR-Copilot)

    开发者 kidoom 用 OMA 构建了 PR-Copilot——一个 AI Pull Request 审查助手。它运行一个由 Coordinator + 多个领域 Reviewer Agent 组成的审查团队,用 defineTool 定义仓库上下文工具,配合自定义 ContextStrategy 实现 Token 感知的 PR Diff 压缩。每次提交 PR 时自动触发多角度代码审查。

    场景二:文档转图表工作室(Reports to Charts Studio)

    NARNIX0 的 Evident-Project 将研究报告和表格数据转化为幻灯片级图表。OMA 在其中扮演五角色提取委员会的编排者:结构化输出 + 确定性验证,确保每个数据点都有据可查。

    场景三:WordPress 安全分析平台(temodar-agent)

    Ali Sünbül 的 WordPress 安全分析平台直接使用 OMA 内置工具(bash、file_*、grep)在 Docker 运行时中执行安全扫描任务,已确认在生产环境中使用。

    推荐理由

    作为长期关注 AI 编排框架的开发者,我对 OMA 的第一印象是:终于有人认真对待「动态」这件事了

    目前市面上的主流方案大致分两派:LangGraph/Mastra 要求你手写节点和边(图优先),Vercel AI SDK/CrewAI 则偏单次调用工具包。OMA 找到了中间地带——你只管说目标,框架负责拆解、分配、执行、审计。这种「目标驱动」的范式在原型阶段特别高效,而它的可控执行机制又让你能逐步收紧边界,平滑过渡到生产环境。

    另外几个让我印象深刻的点:

    1. 离线优先设计:Run Viewer 是纯离线 Dashboard,不依赖外部服务,这对隐私敏感场景非常友好
    2. 50+ 可运行示例:从基础用法到 Cookbook 工作流、Provider 配置、集成模式全覆盖,上手曲线平缓
    3. 真正的 TypeScript 原生:不是 JS 库加类型装饰,而是从底层就用 TS 5.6+ 特性构建,IDE 体验一流
    4. 生态开放:已有 Engram 记忆同步、Agentsonar 异常检测、Bilig WorkPaper 公式协作等多个第三方集成

    如果你正在评估多智能体编排方案,或者对 LangGraph 的手动构图感到疲惫,强烈建议给 OMA 一个下午的时间——npm create oma-app@latest 跑一遍 Demo,你会感受到「描述目标而非流程图」的魅力。

    下载地址

  • Open Deep Research:LangChain 官方开源的深度研究智能体,模型与搜索全可替换

    Open Deep Research:LangChain 官方开源的深度研究智能体,模型与搜索全可替换

    Open Deep Research

    Open Deep Research 是 LangChain 官方开源的一个「深度研究智能体(Deep Research Agent)」——简单、可配置、完全开源,能跨多种模型提供商、搜索工具和 MCP 服务器工作,性能可媲美众多主流深度研究产品(在 Deep Research Bench 排行榜上曾进入前列)。

    一句话简介

    一个把「深度研究」这一最热门的 Agent 应用完整开源、可自由替换模型与搜索后端的研究智能体:你提一个复杂问题,它自动规划、并发检索、压缩证据,并产出一份带引用的高质量研究报告。

    安装要求与快速上手

    环境要求:Python 3.11(推荐),使用 uv 管理虚拟环境;需要至少一个 LLM 提供商的 API Key(默认 OpenAI),以及一个搜索 API(默认 Tavily)。

    # 1. 克隆仓库并创建虚拟环境
    git clone https://github.com/langchain-ai/open_deep_research.git
    cd open_deep_research
    uv venv
    source .venv/bin/activate   # Windows: .venv\Scripts\activate
    
    # 2. 安装依赖
    uv sync
    
    # 3. 配置环境变量(模型、搜索工具等)
    cp .env.example .env
    
    # 4. 本地启动 LangGraph 服务,打开 Studio UI
    uvx --refresh --from "langgraph-cli[inmem]" --with-editable . --python 3.11 langgraph dev --allow-blocking
    

    启动后会自动打开 LangGraph Studio UI,在 messages 输入框里提问并点击 Submit 即可,还能在 “Manage Assistants” 里切换不同配置。

    Open Deep Research 架构流程图

    核心功能

    • 全流程自动研究:自动完成”任务规划 → 并发检索 → 结果摘要 → 证据压缩 → 撰写带引用的最终报告”整条链路。
    • 模型自由组合:基于 init_chat_model() 兼容几乎所有主流 LLM,且摘要 / 研究 / 压缩 / 报告撰写四个环节可分别指定不同模型(如 gpt-4.1-mini 摘要、gpt-5 或 Claude Sonnet 4 做研究)。
    • 搜索后端可插拔:默认 Tavily,同时支持 Anthropic / OpenAI 的原生联网搜索,并完整兼容 MCP 服务器,可接入自定义工具。
    • 基准可评测:内置对接 Deep Research Bench(100 道博士级研究任务,覆盖 22 个领域),用 RACE 分数量化研究报告质量。
    • 部署方式多样:支持本地 LangGraph Studio 调试、LangGraph Platform 托管部署,以及面向非技术用户的 Open Agent Platform(OAP)可视化配置。

    Open Deep Research 在 LangGraph Studio 中运行

    典型使用场景

    • 行业 / 竞品调研报告:输入”分析某赛道 2025 年主流玩家与技术路线”,自动检索多来源并输出结构化、带引用的调研报告。
    • 学术与技术综述:面对博士级、跨领域的复杂问题,自动拆解子问题、并发检索文献并汇总成论证严谨的综述。
    • 企业内部知识 Agent:借助 MCP 接入内部数据源与自定义搜索,搭建可私有化部署、可替换模型的企业级深度研究助手。

    推荐理由

    市面上”深度研究”功能大多藏在闭源产品里,而 Open Deep Research 把这套能力彻底开源、模块化,最大的价值在于”每一层都能换”:换模型、换搜索、换部署方式都只是改配置。它由 LangChain 官方维护、有配套免费课程和详尽评测数据,既适合想理解 Deep Research 内部原理的开发者拆解学习,也适合企业作为自研研究 Agent 的高质量起点。如果你正想做一个能自动查资料、写报告的 Agent,这是目前最值得参考的开源实现之一。

    下载地址

    项目数据:约 12.4K Stars · 1.75K Forks · 语言 Python · 许可证 MIT(数据截至 2026 年 7 月)。

  • Outlines:15K Star 的 LLM 结构化输出库,让大模型 100% 生成合法 JSON

    Outlines:15K Star 的 LLM 结构化输出库,让大模型 100% 生成合法 JSON

    Outlines - LLM 结构化输出库

    项目简介

    Outlines 是由 .txt(dottxt)团队开源的 LLM 结构化输出(Structured Outputs)库——它在生成阶段就保证大模型输出严格符合你指定的类型或结构(枚举、整数、Pydantic 模型、JSON Schema、正则、上下文无关文法),从根源上消灭”解析失败、JSON 残缺”问题。项目在 GitHub 上已收获 15,200+ Stars,被 NVIDIA、Cohere、HuggingFace、vLLM 等信任并采用,vLLM 的 Structured Output 后端正是基于它的 outlines-core。

    一句话:别再用正则和 try/except 去”修补”模型输出了——Outlines 让模型从一开始就只能生成合法结构:model(prompt, output_type)

    安装要求和过程

    环境要求

    • Python 3.9+(建议 3.10 以上)
    • 按需选择后端:本地推理需 transformers / llama.cpp(配相应硬件),或走 vLLM / Ollama 服务端,或直接用 OpenAI / Gemini API(无本地算力要求)
    • 操作系统不限,CPU 也能跑(配合 API 或 Ollama)

    快速安装

    pip install outlines

    # 基础安装
    pip install outlines
    
    # 按后端安装可选依赖(示例)
    pip install outlines[transformers]   # 本地 transformers 模型
    pip install outlines[vllm]           # vLLM 服务
    pip install outlines[openai]         # OpenAI API

    30 秒上手

    import outlines
    from typing import Literal
    from transformers import AutoTokenizer, AutoModelForCausalLM
    
    MODEL = "microsoft/Phi-3-mini-4k-instruct"
    model = outlines.from_transformers(
        AutoModelForCausalLM.from_pretrained(MODEL, device_map="auto"),
        AutoTokenizer.from_pretrained(MODEL),
    )
    
    # 情感分类:输出只可能是这三个值之一
    sentiment = model(
        "Analyze: 'This product completely changed my life!'",
        Literal["Positive", "Negative", "Neutral"],
    )
    print(sentiment)  # "Positive"
    
    # 提取数值:保证返回合法 int
    temperature = model("What's the boiling point of water in Celsius?", int)
    print(temperature)  # 100

    核心功能

    Outlines 使用哲学:指定类型即可

    1. 类型即约束,贴合 Python 类型系统Literal 做多选一、int/float 做数值、Pydantic 模型/JSON Schema 做复杂对象、正则约束字符串格式、CFG 文法约束复杂语法——一行 model(prompt, type) 全部搞定。
    2. 生成期保证合法,而非事后修补:基于约束解码(constrained decoding),在每个 token 采样时就屏蔽非法选项,输出 100% 可被 model_validate_json 解析,不存在破损 JSON。
    3. 一套代码横跨所有模型:统一接口支持 transformers、llama.cpp(本地),vLLM、Ollama(服务端),OpenAI、Gemini(API),换模型/换供应商不改业务代码。
    4. 函数签名即 Schema 的 Function Calling:把 Python 函数直接当输出类型传入,Outlines 自动从签名推断结构,返回可直接 **kwargs 调用的参数字典。
    5. Jinja 提示词模板与可复用应用outlines.Template 把复杂 Prompt 从代码中分离,支持 few-shot 模板文件复用,方便工程化管理。

    典型使用场景

    1. 客服工单自动分诊

    把自由格式的用户来信一步解析为结构化工单(优先级枚举 / 类别 / 是否需主管介入 / 行动项列表),直接驱动自动路由与升级告警——priority 字段只可能是 low/medium/high/urgent 四个合法值,下游逻辑零防御代码。

    2. 电商商品自动归类与信息抽取

    批量把商品描述转成 主类目/子类目/属性列表/品牌 结构化数据,喂给库存和搜索系统;同理可做文档分类(财报/合同/技术文档)、事件信息抽取,甚至用 Union 类型优雅处理”信息不足则返回 I don’t know”的兜底。

    3. 生产级 Agent / RAG 管道的可靠胶水层

    Agent 的工具调用参数、RAG 的引用格式、多步工作流的中间态,全部用 Pydantic 模型锁死结构。vLLM 等推理引擎已内置其核心库,本地部署大模型时开启结构化输出几乎零成本。

    推荐理由

    使用 Outlines 的公司

    • 解决的是 LLM 工程化第一痛点:任何把 LLM 输出接入程序的人都被破损 JSON 折磨过。Outlines 的思路是”让非法输出根本不可能被生成”,比重试+修复的方案优雅一个量级。
    • 学习成本极低:会写 Python 类型注解就会用,10 分钟能跑通第一个例子;README 附 6 个可直接抄的生产级示例。
    • 学术与工业双背书:源自论文《Efficient Guided Generation for Large Language Models》,NVIDIA、HuggingFace、vLLM、Cohere 都在用,不是玩具项目。
    • Apache-2.0 宽松许可:商用无忧;核心 outlines-core 用 Rust 重写,约束编译速度快,生产可用。
    • 实测感受:约束解码对本地小模型提升尤其明显——Phi-3 这类 3B 级模型配合 Outlines 做分类/抽取,可靠性直逼裸用大一个数量级的模型,非常适合降本场景。

    下载地址


    项目信息(截至 2026-07-23):15,256 Stars · 809 Forks · Python · Apache-2.0 许可 · 由 .txt(dottxt-ai)团队维护

  • Microsoft AutoGen – 微软开源多智能体AI编程框架 [59.9K+ Stars]

    Microsoft AutoGen – 微软开源多智能体AI编程框架 [59.9K+ Stars]

    📝 项目简介

    Microsoft AutoGen 是微软研究院出品的开源多智能体 AI 编程框架,官方定位为 “A programming framework for agentic AI”。它把”多个会自主对话的 Agent 协同工作”这件事,抽象成一套事件驱动的运行时 + 消息协议,让 LLM、工具、人类三方可以在同一套代码里自由组合,既能 自主行动,也能 和人并肩工作,被广泛视为现代 Multi-Agent 协作范式的奠基性项目之一。

    59.9K+
    GitHub Stars

    9.0K+
    Forks

    Python / .NET
    双语言支持

    MIT
    代码许可

    数据来源:GitHub REST API(仓库 microsoft/autogen,截至 2026-07-23)。

    ⚙️ 安装要求和过程

    环境要求

    • Python:3.10 及以上(v0.4+ 推荐 3.11)
    • 操作系统:Linux / macOS / Windows 均支持
    • LLM 凭据:OpenAI 兼容 API Key(Azure OpenAI / OpenAI / Ollama / 本地 vLLM 等均可)
    • 可选依赖:Docker(隔离代码执行)、Node.js(Studio 浏览器依赖)
    • .NET 用户:.NET 8 SDK,dotnet add package Microsoft.AutoGen

    快速安装(Python,v0.4+ 推荐)

    # 1) 创建并激活虚拟环境
    python3 -m venv .venv && source .venv/bin/activate
    
    # 2) 安装 AgentChat 核心 + OpenAI 扩展
    pip install -U "autogen-agentchat" "autogen-ext[openai]"
    
    # 3) (可选) 安装无代码可视化工作台
    pip install -U "autogenstudio"
    
    # 4) 验证
    python -c "import autogen_agentchat; print(autogen_agentchat.__version__)"

    从源码安装(v0.4)

    git clone https://github.com/microsoft/autogen.git
    cd autogen
    pip install -e ./python/packages/autogen-agentchat
    pip install -e ./python/packages/autogen-ext[openai]
    # 启动 Studio
    autogenstudio ui --port 8080

    配置 LLM(OpenAI 兼容)

    把 API Key 放进环境变量(推荐),或写入 OAI_CONFIG_LIST

    # .env
    OPENAI_API_KEY=sk-...
    # 可选:Azure / 自定义网关
    AZURE_OPENAI_API_KEY=...
    AZURE_OPENAI_ENDPOINT=https://your-resource.openai.azure.com/
    OPENAI_API_BASE=https://your-gateway.example.com/v1
    ⚠️ 版本提示:自 v0.4 起,包名由 pyautogen 改为 autogen-agentchat / autogen-ext。v0.2 用户可参考 官方迁移指南

    🏗️ 架构总览

    AutoGen 把”造一个能自主干活的 AI”这件事切成三层 API,开发者可以按需选择从底层到高层:

    AutoGen 三层架构:Extensions / AgentChat / Core

    • Core API(底层):消息传递、事件驱动、分布式 Runtime,同时支持 Python 与 .NET,是整条链路的”内核”。
    • AgentChat API(高阶):双智能体对话、群聊、AgentTool 多专家路由——大多数应用只需要这一层。
    • Extensions API(扩展):LLM 客户端、工具注册、MCP 协议适配、模型上下文协议桥接。

    再上面还有三个开箱即用的”上层建筑”:AutoGen Studio(无代码 GUI)、AutoGen Bench(基准评测)、Magentic-One(微软开源的通用多智能体团队基线)。

    ✨ 核心功能

    🤖 1. 多智能体对话与编排

    把每个 Agent 看作一个会发消息的对象,通过 initiate_chat / a_initiate 一行就能拉起对话;支持两人私聊、群聊(SelectorGroupChat / Swarm / RoundRobin)与按需动态编排(AgentTool 把”专家 Agent”当工具调)。

    🧠 2. 可插拔模型与工具

    原生支持 OpenAI / Azure OpenAI / Anthropic / Ollama / vLLM / Gemini 等模型;工具侧通过 FunctionTool + MCP 一键接入浏览器、数据库、Shell、文件系统、Playwright 等上百种能力。

    🧑‍💻 3. 人机协同(Human-in-the-Loop)

    通过 UserProxyAgent / input_func 任意把人类拉进对话:审批、纠正、补充上下文,AI 不会”擅自做主”——这是 AutoGen 最早让业界眼前一亮的杀手锏。

    🖥️ 4. AutoGen Studio:无代码工作台

    可视化拖拽搭建 Agent 团队、连接工具、调试消息流、上传数据集。零代码也能跑通一个 Magentic-One 风格的”会自己上网 + 写代码 + 操作文件”的 AI 助手。

    🔁 5. Magentic-One 通用团队基线

    微软在 AutoGen 上开源的”通用多智能体”参考实现:Orchestrator 动态规划 → 调用 Coder / Computer-Use / Web-Surfer / File-Surfer 四个专家完成任务,对标 OpenAI Operator 与 Anthropic Computer Use。

    Magentic-One 风格的多智能体协作流程:Orchestrator + 4 个专家 Agent

    🎯 典型使用场景

    场景一:自动数据分析 + 报告生成

    做法Planner Agent 拆解任务 → Coder Agent 写 pandas / matplotlib 代码 → Executor 在 Docker 里跑 → Writer Agent 把结果整理成 Markdown 报告。人类只在最后审阅。

    收益:原本 2 小时的手工分析压缩到 10 分钟以内;每一步可追溯、可重放。

    场景二:多角色代码评审 / PR 自动化

    做法Author Agent 改代码 → Reviewer Agent 提风格 / 性能意见 → Tester Agent 自动跑单测 + 覆盖率 → Approver 收口。整套流程在一个 SelectorGroupChat 里循环。

    收益:把”人盯 PR”变成”AI 盯 PR”,工程师只看最后结论。

    场景三:Magentic-One 通用办公助手

    做法:把 Coder / Computer-Use / Web / Files 四个 Agent 配成团队,Orchestrator 自动调度。让它”打开 Chrome 去 LinkedIn 搜索 Python 后端岗位、截图、写到 jobs.md“——这是 OpenAI Operator 还没发布时,AutoGen 社区最早跑通的范式。

    收益:任何能拆成”打开应用 → 抓信息 → 写文件”的流程都能交给它。

    💡 推荐理由(也聊聊它的现状)

    作为多智能体框架的”鼻祖级”项目,AutoGen 给整个行业留下了三份被广泛借鉴的遗产:把”对话”当作 Agent 协作的一等公民把”人”显式拉进循环把”工具调用”做成可插拔。从 2023 年发布至今,AutoGen 一直是 Multi-Agent 论文与开源项目的引用常客,60K Star 是其行业地位的最好注解。

    实际用下来,AutoGen 最打动我的有三点:

    1. 上手曲线友好:AgentChat API 让你 5 行代码就能跑起一个”用户 ↔ 助手”对话;想加工具,FunctionTool(...) 一包就完事;想加人类审核,UserProxyAgent 直接接管输入。
    2. 生态厚、可借鉴多:官方 + 社区沉淀了 Magentic-One、AutoGen Bench、AG2(前 AutoGen 延续)等一大批可直接 fork 的参考实现,几乎所有”AI 办公助手”类产品都能在 AutoGen 里找到原型。
    3. 底层够”工程”:Core API 的事件驱动 + 分布式 Runtime 设计,让它既能跑 Jupyter 玩具,也能跑生产级服务;而且 Python 与 .NET 双实现,给企业 .NET 栈留了通路。

    ⚠️ 也要如实告诉你:维护模式与迁移

    自 2025 年起,AutoGen 仓库进入 社区维护模式(community-maintained):bug fix 与小幅改进由社区接管,重大新特性已并入微软官方的 Microsoft Agent Framework

    对新项目而言:如果只是做多智能体原型 / 内部工具,现在的 AutoGen 仍然完全够用、生态最厚;如果是从 0 起步并预计要跑 2-3 年的产品,建议同步评估 Microsoft Agent FrameworkAG2(原 AutoGen 核心贡献者 fork 的延续版本)。

    📥 下载地址

    🌐

    官方网站

    microsoft.github.io/autogen

    🐙

    GitHub 仓库

    github.com/microsoft/autogen

    📚

    文档中心

    stable 文档

    🐍

    PyPI 安装

    pip install autogen-agentchat


    #Microsoft #AutoGen #多智能体 #AgenticAI #开源项目

  • llmfit:一条命令,算出哪些大模型能在你的电脑上跑起来

    llmfit:一条命令,算出哪些大模型能在你的电脑上跑起来

    llmfit TUI 演示

    想在本地跑大模型,却总被「这张显卡能不能带得动?」「选哪个量化档位?」劝退?llmfit 把这道难题变成了一条命令:它自动检测你的内存、CPU、GPU,再为目录里数百个模型和提供商打分,直接告诉你哪些模型能在你的机器上流畅跑起来。下方动图就是它的交互式 TUI——硬件规格在顶部,下面是所有模型按「适配度」实时排名。

    📌 项目简介

    llmfit 是一款用 Rust 编写的终端工具,能根据系统的 RAM、CPU 与 GPU 自动「量体裁衣」地为 LLM 模型选型;它会检测硬件、对每一个模型从内存适配、速度估算、模型质量、上下文长度四个维度打分,并输出真正能在你机器上跑得动的推荐清单。默认提供交互式 TUI,也支持经典 CLI 模式,兼容多 GPU、MoE 架构、动态量化,以及 Ollama / llama.cpp / MLX / Docker Model Runner / LM Studio 等本地运行时。

    🛠 安装要求和过程

    环境要求:

    • 预编译二进制,无需安装 Node.js / Python 运行时,开箱即用;
    • 支持 Windows / macOS / Linux,跨平台一致;
    • 可选:本地运行时(Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio)用于实测与部署;
    • 从源码构建需要 Rust 工具链(cargo)。

    快速安装(任选其一):

    # macOS / Linux(Homebrew 预编译二进制,推荐)
    brew install AlexsJones/llmfit/llmfit
    
    # Windows(Scoop)
    scoop install llmfit
    
    # 一行脚本安装(无 sudo 时落到 ~/.local/bin)
    curl -fsSL https://llmfit.axjns.dev/install.sh | sh
    
    # Python 生态(uv / pip)
    uv tool install -U llmfit      # 或 pip install llmfit
    
    # Docker / Podman(直接出 JSON 推荐)
    docker run ghcr.io/alexsjones/llmfit
    
    # 从源码构建
    git clone https://github.com/AlexsJones/llmfit.git && cd llmfit && cargo build --release
    

    跑起来:

    llmfit            # 进入交互式 TUI,看硬件 + 全模型排名
    llmfit fit        # 命令行表格:所有模型按适配度排名
    llmfit recommend --json   # 以 JSON 输出 Top 推荐(供脚本 / Agent 消费)
    llmfit info "qwen2.5:7b"  # 单个模型的适配分析与估算依据
    llmfit bench      # 对你的运行时实测 tok/s 与首字延迟
    llmfit doctor     # 输出硬件检测报告(用于反馈问题)
    

    ✨ 核心功能

    llmfit 工作流程

    1. 硬件自动检测 + 四维评分:读取 RAM / CPU / GPU·VRAM 与本地后端,对目录里数百个模型按「内存适配、速度估算、模型质量、上下文长度」四维打分,并公开每个分数的输入依据,llmfit info 可逐项核查。
    2. TUI 交互 + CLI 脚本化:默认 TUI 实时排名、规划、模拟下载并接入社区榜单;同时提供 fit / recommend --json / info 等子命令,方便被脚本、CI 与 AI Agent 调用。
    3. 多 GPU、MoE 与动态量化:支持多卡配置与 MoE 架构(按激活参数而非总量估算显存),并会根据你的硬件动态选择最优量化档位(如 Q4 / Q8)。
    4. 本地运行时全覆盖:原生对接 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio,推荐结果可直接落地运行。
    5. 实测众包(benchmark & share):在你机器上实测 tok/s,结果先存本地、再一键以 PR 贡献回社区,让同型号硬件的人拿到「已验证 ✓」的真实数字。

    🎯 典型使用场景

    llmfit 四大评分维度

    • 本地部署前选型:拿到一台新笔记本 / 显卡,先跑 llmfit 看 7B / 14B / 32B 甚至 70B 谁能在你的显存和内存里跑、大概多快,避免「下了 3 小时发现跑不起来」的尴尬。
    • 自动化流水线 / AI Agent:在部署脚本或 Coding Agent 里调用 llmfit recommend --json --use-case coding,根据当前主机规格自动挑选可运行的编码模型,做到「按机器适配」而非写死模型名。
    • 硬件升级决策:想加内存还是换显卡?用 llmfit info 对比不同配置下目标模型的适配与速度估算,量化升级带来的收益再下单。

    💡 推荐理由

    本地跑大模型最让人头大的就是「选型玄学」——参数规模、量化、上下文、显存、内存交织在一起,靠经验猜十次翻车八次。llmfit 把这件事变成了可解释、可验证的工程问题:它不只给结论,还把每个估算的输入摊开给你看,并鼓励你用真实 benchmark 反哺社区。Rust 编写的单文件二进制启动极快、零运行时依赖,TUI 好看、CLI 好接,是个人本地 AI 实验室和企业内网「该跑哪个模型」决策的贴心小助手。30K+ Star、MIT 协议、隐私默认(不联网不上传),值得收藏。

    🔗 下载地址