YOHO AI

标签： LiteLLM

  • LiteLLM：统一 100+ LLM 提供商的 AI 网关，52K+ Stars 让 AI 生产部署变得简单

    LiteLLM：统一 100+ LLM 提供商的 AI 网关，52K+ Stars 让 AI 生产部署变得简单

    🔮 LiteLLM：统一 100+ LLM 提供商的 AI 网关

    ⭐ 52,678+ Stars | 🚀 Y Combinator W23 | 💻 Python | 📅 2023年创建


    LiteLLM Logo

    📝 项目简介

    LiteLLM 是 BerriAI 团队开发的开源 AI 网关（AI Gateway），通过统一的 OpenAI 格式 API 接入 100+ 大语言模型提供商（OpenAI、Azure、Anthropic、Bedrock、Cohere、Hugging Face、vLLM、NVIDIA NIM 等），内置成本追踪、护栏（Guardrails）、负载均衡、日志审计等生产级特性，让 AI 应用从原型到规模化部署变得简单可靠。

    作为 Y Combinator W23 孵化的项目，LiteLLM 已成为 AI 生产部署领域的事实标准基础设施，月下载量超百万，被 Fortune 500 多家企业采用。

    ⚙️ 安装要求和过程

    环境要求

    • Python：3.8+（推荐 3.10+）
    • Node.js：18+（如需使用 TypeScript SDK）
    • Docker：可选，用于容器化部署
    • 数据库：SQLite（默认）/ PostgreSQL（生产推荐）

    快速安装

    方式一：Python SDK（轻量级，适合开发）

    pip install litellm

    # 最简调用示例
    import litellm
    response = litellm.completion(
    model=”gpt-4o”,
    messages=[{“role”: “user”, “content”: “Hello!”}]
    )
    print(response)

    方式二：Proxy Server（AI 网关，生产推荐）

    # 安装 Proxy 组件
    uv tool install ‘litellm[proxy]’

    # 启动网关（默认端口 4000）
    litellm –model gpt-4o

    # 或使用 Docker
    docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml -p 4000:4000 ghcr.io/berriai/litellm:main

    方式三：Python SDK 调用本地网关

    import openai

    client = openai.OpenAI(
    api_key=”anything”, # LiteLLM 使用虚拟密钥
    base_url=”http://0.0.0.0:4000″
    )
    response = client.chat.completions.create(
    model=”gpt-4o”,
    messages=[{“role”: “user”, “content”: “Hello!”}]
    )

    🌟 核心功能

    • 🔗 100+ LLM 提供商统一接入：一次集成，随意切换。支持 OpenAI / Azure / Anthropic / Bedrock / Vertex AI / Cohere / Hugging Face / vLLM / NVIDIA NIM 等，调用格式完全兼容 OpenAI API。
    • 💰 成本追踪与预算控制：自动记录每次 API 调用的 Token 消耗和费用，支持按用户/团队/项目设置预算上限，防止 API 费用失控。Dashboard 实时展示成本趋势。
    • ⚖️ 负载均衡与故障转移：支持多模型/多提供商之间的智能路由（轮询、最少占用、最快响应等策略），某个提供商宕机时自动切换，保障服务高可用。
    • 🛡️ 护栏（Guardrails）：内置内容审核、敏感信息脱敏、输出格式校验等安全机制，支持对接 AWS Bedrock Guardrails、Azure Content Safety 等外部服务，让 AI 输出更安全可控。
    • 🔌 MCP 网关 + A2A 协议：不仅是 LLM 网关，还支持 MCP（Model Context Protocol）服务器接入，以及 Google A2A（Agent-to-Agent）协议，让智能体之间也能通过 LiteLLM 互联互通。

    💡 典型使用场景

    场景一：AI 创业公司快速接入多模型

    某 AI 助手创业公司希望同时接入 GPT-4o（处理复杂推理）、Claude Sonnet（内容创作）、Gemini Flash（高速低成本），并随时根据性价比切换。使用 LiteLLM 后，只需修改 model 参数，无需重写任何调用代码，且所有成本自动追踪到各模型/用户维度。

    价值：开发效率提升 5 倍，成本透明度 100%，切换模型零代码改动。

    场景二：企业级 AI 中台的统一网关

    某 Fortune 500 企业构建内部 AI 中台，需要对接多家 LLM 服务商，同时管控各部门的 API 使用权限和预算。LiteLLM Proxy Server 部署在内网，统一管理所有虚拟密钥（Virtual Keys），按部门设置月度预算，所有调用日志实时同步到 Snowflake / BigQuery，满足合规审计要求。

    价值：统一安全管理、成本可控、满足企业合规要求，支持 SSO / LDAP 认证集成。

    场景三：开源 AI 应用的云端部署

    开发者将 AI 应用部署到 Render / Railway / AWS / GCP，通过 LiteLLM 统一管理不同环境的模型配置。利用 LiteLLM 的配置文件（YAML），开发/测试/生产环境使用不同模型和预算上限，且可一键切换，极大简化了 CI/CD 流程。

    价值：多环境配置管理简单，一键部署，支持 Terraform 自动化。

    🌟 推荐理由

    如果要用一个词形容 LiteLLM，那就是「刚需」。

    在 AI 应用开发的早期，大家都是直接调用 OpenAI API，简单直接。但随着业务发展，你会发现：

    • OpenAI 有时不可用，需要备用方案
    • 不同模型性价比差异巨大，需要灵活切换
    • API 费用成了一笔糊涂账，不知道哪个功能/用户花了多少
    • 要对接企业内部的安全合规要求

    这些痛点，LiteLLM 一次性全部解决。它的设计哲学是「不重复造轮子，而是让轮子更好用」——不会要求你改变现有代码，只是在上层加了一个智能的路由层。

    我最喜欢的功能是 Virtual Keys（虚拟密钥）：给每个用户/团队分配独立的 API Key，他们用这个 Key 调用 LiteLLM 网关，网关再转发到真实的 LLM API。这样既能精确追踪成本，又不必把真实的 OpenAI/Azure Key 暴露给所有人。

    另外，LiteLLM 对 MCP 协议和 A2A 协议的支持也走在行业前列，这意味着它不仅是 LLM 的网关，更是未来 AI 智能体生态的互联枢纽。

    如果你正在构建生产级 AI 应用，LiteLLM 是你不应该跳过的基础设施。

    📥 下载地址

    GitHub 仓库
    官方文档
    Enterprise 版本
    PyPI 安装

    快速开始：

    # 仅需一行命令，即刻体验
    uv tool install ‘litellm[proxy]’
    litellm –model gpt-4o

    # 浏览器打开 Dashboard
    open http://localhost:4000/ui

    适用人群：AI 应用开发者、企业 AI 平台团队、LLM 运维工程师、全栈开发者

    许可证：NOASSERTION（商业使用请查看最新许可证）

    官方支持：Discord 社区 / WhatsApp 群组 / Slack 频道，响应迅速

  • LiteLLM：49.4K Stars！统一100+ LLM API网关，让多模型调用不再碎片化

    LiteLLM：49.4K Stars！统一100+ LLM API网关，让多模型调用不再碎片化

    LiteLLM

    📌 项目简介

    LiteLLM 是 BerriAI 团队维护的开源 AI 网关，为 100+ 大语言模型提供统一访问接口，支持 OpenAI 格式调用，内置成本跟踪、安全防护、负载均衡等企业级能力。Y Combinator W23 孵化项目，Stripe、Netflix、Google ADK 等大厂均在用。

    🔧 安装要求和过程

    环境要求

    • Python 3.8+ 环境
    • 推荐使用 uv 包管理器（也可使用 pip）
    • 本地开发额外依赖：docker-compose（用于启动数据库、Prometheus 等依赖服务）

    快速安装步骤

    # 1. 克隆仓库
git clone https://github.com/BerriAI/litellm.git && cd litellm

# 2. 安装开发依赖
make install-dev

# 3. 初始化虚拟环境
python -m venv .venv
# Linux/Mac:
source .venv/bin/activate
# Windows:
.venv\Scripts\activate
uv sync --all-extras --group proxy-dev

# 4. 生成 Prisma 客户端
uv run prisma generate && prisma generate

# 5. 启动本地服务（后端）
python litellm/proxy/proxy_cli.py

# 6. 启动前端（另开终端）
cd ui/litellm-dashboard && npm install && npm run dev

    💡 Docker 快速启动：

    docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml -p 4000:4000 berriai/litellm:latest

    🚀 核心功能

    🌐 统一 LLM 调用

    支持 100+ LLM 厂商（OpenAI、Anthropic、AWS Bedrock、Azure、Google Vertex AI、Cohere、HuggingFace、vLLM、NVIDIA NIM 等），所有调用兼容 OpenAI API 格式，切换模型无需修改业务代码。

    🛡️ AI 网关能力

    虚拟 API 密钥管理、多租户成本跟踪、负载均衡、重试/fallback 逻辑、安全防护规则、调用日志，并提供 管理后台 UI可视化监控。

    🤖 智能体（A2A）支持

    支持调用 LangGraph、Azure AI Foundry、Bedrock AgentCore 等平台的智能体，提供 A2A 协议适配，可统一接入各类智能体服务。

    🔗 MCP 工具桥接

    可将 MCP 服务器的工具转换为 OpenAI 格式 tool 定义，直接对接任意 LLM；支持通过网关统一代理 MCP 工具调用。

    🏢 企业级特性

    单点登录（SSO）、自定义集成、专属支持、SLA 保障、功能优先级定制。高性能：1k RPS 场景下 P95 延迟仅 8ms。

    💡 典型使用场景

    场景一：多模型切换，代码零改动

    开发阶段使用 GPT-4o 快速验证，生产环境切换到 Claude Sonnet，只需修改 model 参数，业务代码无需任何改动：

    # 同一套代码，切换不同模型
from litellm import completion

response = completion(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "Hello!"}]
)

response = completion(
    model="anthropic/claude-sonnet-4-20250514",
    messages=[{"role": "user", "content": "Hello!"}]
)

    场景二：企业 LLM 调用管理与成本跟踪

    为不同团队/项目分配虚拟 API 密钥，按维度统计 LLM 调用花费，设置安全防护规则（如屏蔽敏感词、限制调用频率），所有调用日志可视化。

    知名用户包括：Stripe、Netflix、Google ADK、Grepile、OpenHands、OpenAI Agents SDK。

    场景三：MCP 工具无缝对接 LLM

    通过 LiteLLM 的 MCP 工具桥接功能，可以将任何 MCP 服务器的工具转换为 OpenAI 格式，让任意 LLM 都能调用这些工具，无需为每个 LLM 单独适配。

    💬 推荐理由

    LiteLLM 解决了 AI 应用开发中最痛点的问题之一——多厂商 LLM 接口不统一。以前需要为每个厂商写一套调用代码，现在只需一套 OpenAI 格式代码，通过 model="anthropic/claude-sonnet-4-20250514" 这样的格式就能无缝切换。

    对于需要调用多个 LLM 的应用（比如 AI Agent 系统），LiteLLM 几乎是标配组件。Stripe、Netflix、Google ADK 等大厂都在用，说明其稳定性和性能已经过生产验证。

    最打动我的一点：它不只做模型路由，还内置了成本跟踪、负载均衡、安全防护等企业级功能，真正把”调用 LLM”这件事做成了一个完整的网关产品，而不只是一个简单的路由库。

    LiteLLM – 让100+ LLM 调用，从此只有一种方式。