标签： vLLM

配图

项目简介

vLLM 是一个面向所有人的易用、快速、低成本的LLM服务引擎，提供高吞吐量、内存高效的推理能力，让大语言模型的生产部署变得简单高效。

安装要求和过程

环境要求

• 操作系统：Linux（推荐）或 macOS
• Python：3.8 – 3.12
• GPU：NVIDIA GPU（CUDA 7.0+）或 AMD GPU（ROCm 5.6+）
• CPU：x86、ARM 或 PowerPC（支持 CPU 推理）

快速安装步骤

方法一：使用 uv 安装（推荐）

uv pip install vllm
    

方法二：使用 pip 安装

pip install vllm
    

方法三：从源码构建

git clone https://github.com/vllm-project/vllm.git
    cd vllm
    pip install -e .
    

验证安装

python -c "import vllm; print(vllm.__version__)"
    

核心功能

1. 业界领先的推理吞吐量
   基于 PagedAttention 技术高效管理注意力键值内存，支持连续批处理、分块预填充、前缀缓存等优化技术，单GPU即可实现超高并发推理服务。
2. 丰富的量化方案支持
   原生支持 FP8、MXFP8/MXFP4、NVFP4、INT8、INT4、GPTQ/AWQ、GGUF 等多种量化格式，在保证模型质量的同时大幅降低显存占用和推理延迟。
3. 无缝的 Hugging Face 集成
   直接加载 Hugging Face 上 200+ 模型架构，包括 Llama、Qwen、Gemma、Mixtral、DeepSeek-V3 等热门模型，无需任何适配代码。
4. 分布式推理支持
   支持张量并行、流水线并行、数据并行、专家并行、上下文并行，可轻松扩展到大模型多卡、多机部署场景。
5. 多模态模型支持
   不仅支持纯文本LLM，还支持 LLaVA、Qwen-VL、Pixtral 等多模态模型，满足图文理解、视觉问答等复杂场景需求。

典型使用场景

场景一：企业级大模型API服务

某 AI 创业公司需要将 Qwen2.5-72B 模型部署为 OpenAI 兼容的 API 服务，供前端应用调用。

解决方案：使用 vLLM 启动兼容 OpenAI API 的服务器，仅需一行命令：

vllm serve Qwen/Qwen2.5-72B-Instruct --tensor-parallel-size 4
    

启动后自动提供与 OpenAI 完全兼容的 API，现有代码无需修改即可切换到底层模型，同时享受 vLLM 带来的 3-5倍吞吐量提升。

场景二：本地开发与环境测试

开发者需要在本地机器上快速测试不同 LLM 的能力，评估哪个模型最适合自己的应用场景。

解决方案：使用 vLLM 的 Python API 或 LLM 类，像使用 transformers 一样简单：

from vllm import LLM, SamplingParams
    
    # 初始化模型
    llm = LLM(model="meta-llama/Llama-3.1-8B-Instruct")
    
    # 设置生成参数
    params = SamplingParams(temperature=0.7, max_tokens=256)
    
    # 批量推理
    prompts = ["解释量子计算", "写一个快速排序"]
    outputs = llm.generate(prompts, params)
    
    for output in outputs:
        print(output.prompt, output.outputs[0].text)
    

推荐理由

作为一名经常需要部署和测试大模型的开发者，vLLM 已经成为我工具箱里不可或缺的利器。之前每次部署新模型都要折腾好几天，要么显存不够，要么吞吐量上不去，要么就是跟各种推理框架的适配问题。

vLLM 最大的价值在于它真的能做到开箱即用。你从 Hugging Face 上找到的模型，基本上扔给 vLLM 就能跑，不用自己写适配代码，不用深入研究模型架构。特别是它的 PagedAttention 技术，真的把显存利用率拉满了，同样一张 A100，用 vLLM 能服务的并发请求数是之前的好几倍。

另外很赞的一点是它的量化支持特别全面。现在模型越来越大，不量化根本跑不起来。vLLM 支持的量化格式特别多，AWQ、GPTQ、GGUF 这些主流的都有，而且量化后的精度损失控制得很好，实际业务里基本感觉不出来。

如果你正在做 LLM 相关的项目，不管是创业做 AI 产品，还是企业里搭私有化部署，vLLM 都值得一试。它现在基本上是业界标准了，82.1k 的 Stars 不是白来的。

下载地址

• 官方网站：https://vllm.ai
• GitHub 仓库：https://github.com/vllm-project/vllm（82.1k+ Stars）
• 官方文档：https://docs.vllm.ai
• PyPI 安装：pip install vllm
• 社区论坛：https://discuss.vllm.ai

如果你觉得这个项目有帮助，欢迎到 GitHub 上点个 Star，支持开源社区的发展！