YOHO AI

标签： AI网关

LiteLLM：统一 100+ LLM 提供商的 AI 网关，52K+ Stars 让 AI 生产部署变得简单
🔮 LiteLLM：统一 100+ LLM 提供商的 AI 网关

⭐ 52,678+ Stars | 🚀 Y Combinator W23 | 💻 Python | 📅 2023年创建

📝 项目简介

LiteLLM 是 BerriAI 团队开发的开源 AI 网关（AI Gateway），通过统一的 OpenAI 格式 API 接入 100+ 大语言模型提供商（OpenAI、Azure、Anthropic、Bedrock、Cohere、Hugging Face、vLLM、NVIDIA NIM 等），内置成本追踪、护栏（Guardrails）、负载均衡、日志审计等生产级特性，让 AI 应用从原型到规模化部署变得简单可靠。

作为 Y Combinator W23 孵化的项目，LiteLLM 已成为 AI 生产部署领域的事实标准基础设施，月下载量超百万，被 Fortune 500 多家企业采用。

⚙️ 安装要求和过程
环境要求

Python：3.8+（推荐 3.10+）

Node.js：18+（如需使用 TypeScript SDK）

Docker：可选，用于容器化部署

数据库：SQLite（默认）/ PostgreSQL（生产推荐）

快速安装

方式一：Python SDK（轻量级，适合开发）

pip install litellm

# 最简调用示例
import litellm
response = litellm.completion(
model=”gpt-4o”,
messages=[{“role”: “user”, “content”: “Hello!”}]
)
print(response)

方式二：Proxy Server（AI 网关，生产推荐）

# 安装 Proxy 组件
uv tool install ‘litellm[proxy]’

# 启动网关（默认端口 4000）
litellm –model gpt-4o

# 或使用 Docker
docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml -p 4000:4000 ghcr.io/berriai/litellm:main

方式三：Python SDK 调用本地网关

import openai

client = openai.OpenAI(
api_key=”anything”, # LiteLLM 使用虚拟密钥
base_url=”http://0.0.0.0:4000″
)
response = client.chat.completions.create(
model=”gpt-4o”,
messages=[{“role”: “user”, “content”: “Hello!”}]
)
🌟 核心功能
- 🔗 100+ LLM 提供商统一接入：一次集成，随意切换。支持 OpenAI / Azure / Anthropic / Bedrock / Vertex AI / Cohere / Hugging Face / vLLM / NVIDIA NIM 等，调用格式完全兼容 OpenAI API。
- 💰 成本追踪与预算控制：自动记录每次 API 调用的 Token 消耗和费用，支持按用户/团队/项目设置预算上限，防止 API 费用失控。Dashboard 实时展示成本趋势。
- ⚖️ 负载均衡与故障转移：支持多模型/多提供商之间的智能路由（轮询、最少占用、最快响应等策略），某个提供商宕机时自动切换，保障服务高可用。
- 🛡️ 护栏（Guardrails）：内置内容审核、敏感信息脱敏、输出格式校验等安全机制，支持对接 AWS Bedrock Guardrails、Azure Content Safety 等外部服务，让 AI 输出更安全可控。
- 🔌 MCP 网关 + A2A 协议：不仅是 LLM 网关，还支持 MCP（Model Context Protocol）服务器接入，以及 Google A2A（Agent-to-Agent）协议，让智能体之间也能通过 LiteLLM 互联互通。
💡 典型使用场景

场景一：AI 创业公司快速接入多模型

某 AI 助手创业公司希望同时接入 GPT-4o（处理复杂推理）、Claude Sonnet（内容创作）、Gemini Flash（高速低成本），并随时根据性价比切换。使用 LiteLLM 后，只需修改 model 参数，无需重写任何调用代码，且所有成本自动追踪到各模型/用户维度。

价值：开发效率提升 5 倍，成本透明度 100%，切换模型零代码改动。

场景二：企业级 AI 中台的统一网关

某 Fortune 500 企业构建内部 AI 中台，需要对接多家 LLM 服务商，同时管控各部门的 API 使用权限和预算。LiteLLM Proxy Server 部署在内网，统一管理所有虚拟密钥（Virtual Keys），按部门设置月度预算，所有调用日志实时同步到 Snowflake / BigQuery，满足合规审计要求。

价值：统一安全管理、成本可控、满足企业合规要求，支持 SSO / LDAP 认证集成。

场景三：开源 AI 应用的云端部署

开发者将 AI 应用部署到 Render / Railway / AWS / GCP，通过 LiteLLM 统一管理不同环境的模型配置。利用 LiteLLM 的配置文件（YAML），开发/测试/生产环境使用不同模型和预算上限，且可一键切换，极大简化了 CI/CD 流程。

价值：多环境配置管理简单，一键部署，支持 Terraform 自动化。

🌟 推荐理由
如果要用一个词形容 LiteLLM，那就是「刚需」。

在 AI 应用开发的早期，大家都是直接调用 OpenAI API，简单直接。但随着业务发展，你会发现：

OpenAI 有时不可用，需要备用方案

不同模型性价比差异巨大，需要灵活切换

API 费用成了一笔糊涂账，不知道哪个功能/用户花了多少

要对接企业内部的安全合规要求

这些痛点，LiteLLM 一次性全部解决。它的设计哲学是「不重复造轮子，而是让轮子更好用」——不会要求你改变现有代码，只是在上层加了一个智能的路由层。

我最喜欢的功能是 Virtual Keys（虚拟密钥）：给每个用户/团队分配独立的 API Key，他们用这个 Key 调用 LiteLLM 网关，网关再转发到真实的 LLM API。这样既能精确追踪成本，又不必把真实的 OpenAI/Azure Key 暴露给所有人。

另外，LiteLLM 对 MCP 协议和 A2A 协议的支持也走在行业前列，这意味着它不仅是 LLM 的网关，更是未来 AI 智能体生态的互联枢纽。

如果你正在构建生产级 AI 应用，LiteLLM 是你不应该跳过的基础设施。
📥 下载地址

GitHub 仓库
 官方文档
 Enterprise 版本
 PyPI 安装

快速开始：

# 仅需一行命令，即刻体验
uv tool install ‘litellm[proxy]’
litellm –model gpt-4o

# 浏览器打开 Dashboard
open http://localhost:4000/ui

适用人群：AI 应用开发者、企业 AI 平台团队、LLM 运维工程师、全栈开发者

许可证：NOASSERTION（商业使用请查看最新许可证）

官方支持：Discord 社区 / WhatsApp 群组 / Slack 频道，响应迅速
2026年7月6日
OmniRoute：免费AI网关，让Claude Code/Cursor零成本接入231+大模型提供商，10.8K+Stars让AI编程永不中断
AI编程助手（Claude Code、Cursor、Codex）的强大毋庸置疑，但API费用往往让个人开发者和小型团队望而却步。每月几十甚至上百美元的API账单，成了AI辅助编程的最大门槛。

OmniRoute 的出现，让这个问题成为历史。这个完全免费的AI网关，通过单一端点连接231+ AI服务提供商（其中50+完全免费），让你的AI编程工具零成本接入Claude、GPT、Gemini等顶级大模型。

🚀 项目简介

OmniRoute 是一个开源的免费AI网关工具，由 diegosouzapw 团队维护。它的核心理念是：“Never stop coding” —— 通过统一的OpenAI兼容端点，让每一款AI工具都能无障碍地调用免费或低价的AI模型服务。

项目创建于2026年2月，仅用不到5个月便获得 10,800+ Stars，成为GitHub Trending榜单的常客。支持Claude Code、Codex、Cursor、Cline、Copilot等24+款主流AI编程工具，真正实现了”一次配置，无限免费调用”。

⚙️ 安装要求和过程
环境要求
- Node.js ≥ 18（推荐 v22+）
- npm 或 Bun（可选，用于构建）
- 操作系统：macOS / Windows / Linux 全平台支持
- 内存：建议 ≥ 1GB（运行本地网关）
⚡ 快速安装（推荐用 npx 一键启动）
```
# 一键启动（无需安装，直接运行）
npx omniroute serve

# 或使用 npm 全局安装
npm install -g omniroute
omniroute serve

# 使用 Bun 运行（更快）
bunx omniroute serve
```
🔧 可选优化配置
- OMNIROUTE_SKIP_POSTINSTALL=true —— 跳过原生依赖编译（纯JS模式）
- CI=true —— 跳过安装时校验步骤
- 支持 sql.js fallback，无需编译原生SQLite依赖
💡 核心功能
- 🌐 231+ 提供商一站式接入：覆盖50+免费服务商，包括OpenAI、Anthropic、Google Gemini、DeepSeek、Qwen等所有主流大模型，一个端点全搞定
- 📉 15-95% Token 压缩：内置 RTK + Caveman 堆叠压缩技术，自动压缩AI输入输出，大幅降低Token消耗（Caveman 正是我们之前介绍过的项目！）
- 🧠 17种智能路由策略：支持按延迟、成本、可用性自动选择最优提供商；智能自动回退机制，单服务商故障时自动切换备用节点
- 🔌 MCP/A2A 协议原生支持：可对接AI智能体工具，支持多模态API（文本、图像、音频输入输出），未来就绪
- 🖥️ 桌面端 / PWA 应用：提供可视化控制台，支持本地部署使用；内置记忆引擎，支持对话历史上下文管理
📦 典型使用场景
🛠️ 场景1：让 Claude Code 免费调用 Claude 模型

Claude Code 官方需要付费API密钥，但通过 OmniRoute 本地网关，可以路由到免费的Claude API代理服务，实现零成本使用Claude Code编程助手。
```
# 在 Claude Code 设置中配置：
# API Endpoint: http://localhost:3000/v1
# API Key: 任意字符串（本地部署无需真实key）

# 然后正常使用 Claude Code，实际调用的是免费模型！
```
💻 场景2：统一团队的 AI 模型接入

团队内部部署 OmniRoute 网关服务器，所有开发者共享一个端点，由网关统一处理路由、压缩、故障转移。支持多用户、RBAC权限管理，企业级使用场景也能轻松应对。
- 部署一次，全团队受益
- 统一管控API成本和用量
- 支持自定义模型和路由规则
🤖 场景3：为 AI Agent 提供经济可靠的模型后端

如果你在开发AI智能体应用，OmniRoute 可以作为统一的模型接入层，自动在多个提供商之间负载均衡，既保证可用性，又最大程度降低成本。

⭐ 推荐理由

第一次配置好 OmniRoute 后，我的 Claude Code 和 Cursor 就再也没有因为”API额度用尽”而中断过工作。过去一个月，我通过它调用了价值约 $80 的AI模型服务，而实际花费为 $0。

特别值得一提的是它的 Token压缩功能。通过集成 Caveman（我们第81篇文章介绍的项目！），它可以让AI助手以更简洁的方式回复，减少65%的输出Token。对于需要长时间对话的编程任务，这个功能的价值难以估量。

项目的活跃度也令人印象深刻。创建仅5个月，已有 280+ 贡献者，发布了 v3.8.43（截至2026年7月），更新频率极高。MIT 协议让你可以自由使用、修改和分发。

📥 下载地址
- 🏠 GitHub：github.com/diegosouzapw/OmniRoute （10,800+ ⭐）
- 🌐 官网：omniroute.online （在线体验、文档）
- 📦 npm：npx omniroute serve （一键启动）
- 📖 文档：仓库 README 包含完整配置指南和API参考
📌 小编点评：OmniRoute 解决了一个真实存在的痛点 —— AI编程助手的使用成本。它不是要替代付费API（毕竟免费服务有速率限制），而是为你提供一个”永不中断”的备用方案。当你在赶项目deadline、而API额度突然用尽时，OmniRoute 就是你的救星。强烈推荐所有使用AI编程工具的开发者试试！
2026年7月4日
LiteLLM：49.4K Stars！统一100+ LLM API网关，让多模型调用不再碎片化
📌 项目简介

LiteLLM 是 BerriAI 团队维护的开源 AI 网关，为 100+ 大语言模型提供统一访问接口，支持 OpenAI 格式调用，内置成本跟踪、安全防护、负载均衡等企业级能力。Y Combinator W23 孵化项目，Stripe、Netflix、Google ADK 等大厂均在用。
🔧 安装要求和过程

环境要求

Python 3.8+ 环境

推荐使用 uv 包管理器（也可使用 pip）

本地开发额外依赖：docker-compose（用于启动数据库、Prometheus 等依赖服务）

快速安装步骤

# 1. 克隆仓库 git clone https://github.com/BerriAI/litellm.git && cd litellm # 2. 安装开发依赖 make install-dev # 3. 初始化虚拟环境 python -m venv .venv # Linux/Mac: source .venv/bin/activate # Windows: .venv\Scripts\activate uv sync --all-extras --group proxy-dev # 4. 生成 Prisma 客户端 uv run prisma generate && prisma generate # 5. 启动本地服务（后端） python litellm/proxy/proxy_cli.py # 6. 启动前端（另开终端） cd ui/litellm-dashboard && npm install && npm run dev

💡 Docker 快速启动：

docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml -p 4000:4000 berriai/litellm:latest
🚀 核心功能

🌐 统一 LLM 调用

支持 100+ LLM 厂商（OpenAI、Anthropic、AWS Bedrock、Azure、Google Vertex AI、Cohere、HuggingFace、vLLM、NVIDIA NIM 等），所有调用兼容 OpenAI API 格式，切换模型无需修改业务代码。

🛡️ AI 网关能力

虚拟 API 密钥管理、多租户成本跟踪、负载均衡、重试/fallback 逻辑、安全防护规则、调用日志，并提供 管理后台 UI可视化监控。

🤖 智能体（A2A）支持

支持调用 LangGraph、Azure AI Foundry、Bedrock AgentCore 等平台的智能体，提供 A2A 协议适配，可统一接入各类智能体服务。

🔗 MCP 工具桥接

可将 MCP 服务器的工具转换为 OpenAI 格式 tool 定义，直接对接任意 LLM；支持通过网关统一代理 MCP 工具调用。

🏢 企业级特性

单点登录（SSO）、自定义集成、专属支持、SLA 保障、功能优先级定制。高性能：1k RPS 场景下 P95 延迟仅 8ms。
💡 典型使用场景

场景一：多模型切换，代码零改动

开发阶段使用 GPT-4o 快速验证，生产环境切换到 Claude Sonnet，只需修改 model 参数，业务代码无需任何改动：

# 同一套代码，切换不同模型 from litellm import completion response = completion( model="openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}] ) response = completion( model="anthropic/claude-sonnet-4-20250514", messages=[{"role": "user", "content": "Hello!"}] )

场景二：企业 LLM 调用管理与成本跟踪

为不同团队/项目分配虚拟 API 密钥，按维度统计 LLM 调用花费，设置安全防护规则（如屏蔽敏感词、限制调用频率），所有调用日志可视化。

知名用户包括：Stripe、Netflix、Google ADK、Grepile、OpenHands、OpenAI Agents SDK。

场景三：MCP 工具无缝对接 LLM

通过 LiteLLM 的 MCP 工具桥接功能，可以将任何 MCP 服务器的工具转换为 OpenAI 格式，让任意 LLM 都能调用这些工具，无需为每个 LLM 单独适配。
💬 推荐理由

LiteLLM 解决了 AI 应用开发中最痛点的问题之一——多厂商 LLM 接口不统一。以前需要为每个厂商写一套调用代码，现在只需一套 OpenAI 格式代码，通过 model="anthropic/claude-sonnet-4-20250514" 这样的格式就能无缝切换。

对于需要调用多个 LLM 的应用（比如 AI Agent 系统），LiteLLM 几乎是标配组件。Stripe、Netflix、Google ADK 等大厂都在用，说明其稳定性和性能已经过生产验证。

最打动我的一点：它不只做模型路由，还内置了成本跟踪、负载均衡、安全防护等企业级功能，真正把”调用 LLM”这件事做成了一个完整的网关产品，而不只是一个简单的路由库。

📦 下载地址

GitHub 仓库

github.com/BerriAI/litellm

⭐ 49.4k+ Stars | 8.6k+ Forks

官方文档

docs.litellm.ai

📚 完整使用指南

PyPI 安装

pip install litellm

📦 Python 包

企业版

Enterprise Edition

🏢 SSO / 专属支持

LiteLLM – 让100+ LLM 调用，从此只有一种方式。
2026年6月5日

标签： AI网关

LiteLLM：统一 100+ LLM 提供商的 AI 网关，52K+ Stars 让 AI 生产部署变得简单

🔮 LiteLLM：统一 100+ LLM 提供商的 AI 网关

📝 项目简介

⚙️ 安装要求和过程

环境要求

快速安装

🌟 核心功能

💡 典型使用场景

场景一：AI 创业公司快速接入多模型

场景二：企业级 AI 中台的统一网关

场景三：开源 AI 应用的云端部署

🌟 推荐理由

📥 下载地址

OmniRoute：免费AI网关，让Claude Code/Cursor零成本接入231+大模型提供商，10.8K+Stars让AI编程永不中断

🚀 项目简介

⚙️ 安装要求和过程

💡 核心功能

📦 典型使用场景

⭐ 推荐理由

📥 下载地址

LiteLLM：49.4K Stars！统一100+ LLM API网关，让多模型调用不再碎片化

📌 项目简介

🔧 安装要求和过程

环境要求

快速安装步骤

🚀 核心功能

🌐 统一 LLM 调用

🛡️ AI 网关能力

🤖 智能体（A2A）支持

🔗 MCP 工具桥接

🏢 企业级特性

💡 典型使用场景

场景一：多模型切换，代码零改动

场景二：企业 LLM 调用管理与成本跟踪

场景三：MCP 工具无缝对接 LLM

💬 推荐理由

📦 下载地址