标签： AI

想在本地跑大模型，却总被「这张显卡能不能带得动？」「选哪个量化档位？」劝退？llmfit 把这道难题变成了一条命令：它自动检测你的内存、CPU、GPU，再为目录里数百个模型和提供商打分，直接告诉你哪些模型能在你的机器上流畅跑起来。下方动图就是它的交互式 TUI——硬件规格在顶部，下面是所有模型按「适配度」实时排名。

📌 项目简介

llmfit 是一款用 Rust 编写的终端工具，能根据系统的 RAM、CPU 与 GPU 自动「量体裁衣」地为 LLM 模型选型；它会检测硬件、对每一个模型从内存适配、速度估算、模型质量、上下文长度四个维度打分，并输出真正能在你机器上跑得动的推荐清单。默认提供交互式 TUI，也支持经典 CLI 模式，兼容多 GPU、MoE 架构、动态量化，以及 Ollama / llama.cpp / MLX / Docker Model Runner / LM Studio 等本地运行时。

🛠 安装要求和过程

环境要求：

• 预编译二进制，无需安装 Node.js / Python 运行时，开箱即用；
• 支持 Windows / macOS / Linux，跨平台一致；
• 可选：本地运行时（Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio）用于实测与部署；
• 从源码构建需要 Rust 工具链（cargo）。

快速安装（任选其一）：

# macOS / Linux（Homebrew 预编译二进制，推荐）
brew install AlexsJones/llmfit/llmfit

# Windows（Scoop）
scoop install llmfit

# 一行脚本安装（无 sudo 时落到 ~/.local/bin）
curl -fsSL https://llmfit.axjns.dev/install.sh | sh

# Python 生态（uv / pip）
uv tool install -U llmfit      # 或 pip install llmfit

# Docker / Podman（直接出 JSON 推荐）
docker run ghcr.io/alexsjones/llmfit

# 从源码构建
git clone https://github.com/AlexsJones/llmfit.git && cd llmfit && cargo build --release

跑起来：

llmfit            # 进入交互式 TUI，看硬件 + 全模型排名
llmfit fit        # 命令行表格：所有模型按适配度排名
llmfit recommend --json   # 以 JSON 输出 Top 推荐（供脚本 / Agent 消费）
llmfit info "qwen2.5:7b"  # 单个模型的适配分析与估算依据
llmfit bench      # 对你的运行时实测 tok/s 与首字延迟
llmfit doctor     # 输出硬件检测报告（用于反馈问题）

✨ 核心功能

1. 硬件自动检测 + 四维评分：读取 RAM / CPU / GPU·VRAM 与本地后端，对目录里数百个模型按「内存适配、速度估算、模型质量、上下文长度」四维打分，并公开每个分数的输入依据，llmfit info 可逐项核查。
2. TUI 交互 + CLI 脚本化：默认 TUI 实时排名、规划、模拟下载并接入社区榜单；同时提供 fit / recommend --json / info 等子命令，方便被脚本、CI 与 AI Agent 调用。
3. 多 GPU、MoE 与动态量化：支持多卡配置与 MoE 架构（按激活参数而非总量估算显存），并会根据你的硬件动态选择最优量化档位（如 Q4 / Q8）。
4. 本地运行时全覆盖：原生对接 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio，推荐结果可直接落地运行。
5. 实测众包（benchmark & share）：在你机器上实测 tok/s，结果先存本地、再一键以 PR 贡献回社区，让同型号硬件的人拿到「已验证 ✓」的真实数字。

🎯 典型使用场景

• 本地部署前选型：拿到一台新笔记本 / 显卡，先跑 llmfit 看 7B / 14B / 32B 甚至 70B 谁能在你的显存和内存里跑、大概多快，避免「下了 3 小时发现跑不起来」的尴尬。
• 自动化流水线 / AI Agent：在部署脚本或 Coding Agent 里调用 llmfit recommend --json --use-case coding，根据当前主机规格自动挑选可运行的编码模型，做到「按机器适配」而非写死模型名。
• 硬件升级决策：想加内存还是换显卡？用 llmfit info 对比不同配置下目标模型的适配与速度估算，量化升级带来的收益再下单。

💡 推荐理由

本地跑大模型最让人头大的就是「选型玄学」——参数规模、量化、上下文、显存、内存交织在一起，靠经验猜十次翻车八次。llmfit 把这件事变成了可解释、可验证的工程问题：它不只给结论，还把每个估算的输入摊开给你看，并鼓励你用真实 benchmark 反哺社区。Rust 编写的单文件二进制启动极快、零运行时依赖，TUI 好看、CLI 好接，是个人本地 AI 实验室和企业内网「该跑哪个模型」决策的贴心小助手。30K+ Star、MIT 协议、隐私默认（不联网不上传），值得收藏。

🔗 下载地址

• GitHub：github.com/AlexsJones/llmfit（⭐ 30.4K · Rust · MIT）
• 官网 / 文档：llmfit.axjns.dev
• Crates.io：crates.io/crates/llmfit
• 快速安装：brew install AlexsJones/llmfit/llmfit 或 curl -fsSL https://llmfit.axjns.dev/install.sh | sh