想在本地跑大模型，却总被「这张显卡能不能带得动？」「选哪个量化档位？」劝退？llmfit 把这道难题变成了一条命令：它自动检测你的内存、CPU、GPU，再为目录里数百个模型和提供商打分，直接告诉你哪些模型能在你的机器上流畅跑起来。下方动图就是它的交互式 TUI——硬件规格在顶部，下面是所有模型按「适配度」实时排名。
📌 项目简介
llmfit 是一款用 Rust 编写的终端工具，能根据系统的 RAM、CPU 与 GPU 自动「量体裁衣」地为 LLM 模型选型；它会检测硬件、对每一个模型从内存适配、速度估算、模型质量、上下文长度四个维度打分，并输出真正能在你机器上跑得动的推荐清单。默认提供交互式 TUI，也支持经典 CLI 模式，兼容多 GPU、MoE 架构、动态量化，以及 Ollama / llama.cpp / MLX / Docker Model Runner / LM Studio 等本地运行时。
🛠 安装要求和过程
环境要求：
- 预编译二进制，无需安装 Node.js / Python 运行时，开箱即用；
- 支持 Windows / macOS / Linux，跨平台一致；
- 可选：本地运行时（Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio）用于实测与部署；
- 从源码构建需要 Rust 工具链（
cargo）。
快速安装（任选其一）：
# macOS / Linux（Homebrew 预编译二进制，推荐）
brew install AlexsJones/llmfit/llmfit
# Windows（Scoop）
scoop install llmfit
# 一行脚本安装（无 sudo 时落到 ~/.local/bin）
curl -fsSL https://llmfit.axjns.dev/install.sh | sh
# Python 生态（uv / pip）
uv tool install -U llmfit # 或 pip install llmfit
# Docker / Podman（直接出 JSON 推荐）
docker run ghcr.io/alexsjones/llmfit
# 从源码构建
git clone https://github.com/AlexsJones/llmfit.git && cd llmfit && cargo build --release
跑起来：
llmfit # 进入交互式 TUI，看硬件 + 全模型排名
llmfit fit # 命令行表格：所有模型按适配度排名
llmfit recommend --json # 以 JSON 输出 Top 推荐（供脚本 / Agent 消费）
llmfit info "qwen2.5:7b" # 单个模型的适配分析与估算依据
llmfit bench # 对你的运行时实测 tok/s 与首字延迟
llmfit doctor # 输出硬件检测报告（用于反馈问题）
✨ 核心功能
- 硬件自动检测 + 四维评分：读取 RAM / CPU / GPU·VRAM 与本地后端，对目录里数百个模型按「内存适配、速度估算、模型质量、上下文长度」四维打分，并公开每个分数的输入依据，
llmfit info可逐项核查。 - TUI 交互 + CLI 脚本化：默认 TUI 实时排名、规划、模拟下载并接入社区榜单；同时提供
fit/recommend --json/info等子命令，方便被脚本、CI 与 AI Agent 调用。 - 多 GPU、MoE 与动态量化：支持多卡配置与 MoE 架构（按激活参数而非总量估算显存），并会根据你的硬件动态选择最优量化档位（如 Q4 / Q8）。
- 本地运行时全覆盖：原生对接 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio，推荐结果可直接落地运行。
- 实测众包（benchmark & share）：在你机器上实测 tok/s，结果先存本地、再一键以 PR 贡献回社区，让同型号硬件的人拿到「已验证 ✓」的真实数字。
🎯 典型使用场景
- 本地部署前选型：拿到一台新笔记本 / 显卡，先跑
llmfit看 7B / 14B / 32B 甚至 70B 谁能在你的显存和内存里跑、大概多快，避免「下了 3 小时发现跑不起来」的尴尬。 - 自动化流水线 / AI Agent：在部署脚本或 Coding Agent 里调用
llmfit recommend --json --use-case coding，根据当前主机规格自动挑选可运行的编码模型，做到「按机器适配」而非写死模型名。 - 硬件升级决策：想加内存还是换显卡？用
llmfit info对比不同配置下目标模型的适配与速度估算，量化升级带来的收益再下单。
💡 推荐理由
本地跑大模型最让人头大的就是「选型玄学」——参数规模、量化、上下文、显存、内存交织在一起，靠经验猜十次翻车八次。llmfit 把这件事变成了可解释、可验证的工程问题：它不只给结论，还把每个估算的输入摊开给你看，并鼓励你用真实 benchmark 反哺社区。Rust 编写的单文件二进制启动极快、零运行时依赖，TUI 好看、CLI 好接，是个人本地 AI 实验室和企业内网「该跑哪个模型」决策的贴心小助手。30K+ Star、MIT 协议、隐私默认（不联网不上传），值得收藏。
🔗 下载地址
- GitHub：github.com/AlexsJones/llmfit（⭐ 30.4K · Rust · MIT）
- 官网 / 文档：llmfit.axjns.dev
- Crates.io：crates.io/crates/llmfit
- 快速安装：
brew install AlexsJones/llmfit/llmfit或curl -fsSL https://llmfit.axjns.dev/install.sh | sh
