BerriAI – YOHO AI

📌 项目简介

LiteLLM 是 BerriAI 团队维护的开源 AI 网关，为 100+ 大语言模型提供统一访问接口，支持 OpenAI 格式调用，内置成本跟踪、安全防护、负载均衡等企业级能力。Y Combinator W23 孵化项目，Stripe、Netflix、Google ADK 等大厂均在用。

🔧 安装要求和过程

环境要求

Python 3.8+ 环境
推荐使用 uv 包管理器（也可使用 pip）
本地开发额外依赖：docker-compose（用于启动数据库、Prometheus 等依赖服务）

快速安装步骤

# 1. 克隆仓库
git clone https://github.com/BerriAI/litellm.git && cd litellm

# 2. 安装开发依赖
make install-dev

# 3. 初始化虚拟环境
python -m venv .venv
# Linux/Mac:
source .venv/bin/activate
# Windows:
.venv\Scripts\activate
uv sync --all-extras --group proxy-dev

# 4. 生成 Prisma 客户端
uv run prisma generate && prisma generate

# 5. 启动本地服务（后端）
python litellm/proxy/proxy_cli.py

# 6. 启动前端（另开终端）
cd ui/litellm-dashboard && npm install && npm run dev

💡 Docker 快速启动：

docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml -p 4000:4000 berriai/litellm:latest

🚀 核心功能

🌐 统一 LLM 调用

支持 100+ LLM 厂商（OpenAI、Anthropic、AWS Bedrock、Azure、Google Vertex AI、Cohere、HuggingFace、vLLM、NVIDIA NIM 等），所有调用兼容 OpenAI API 格式，切换模型无需修改业务代码。

🛡️ AI 网关能力

虚拟 API 密钥管理、多租户成本跟踪、负载均衡、重试/fallback 逻辑、安全防护规则、调用日志，并提供 管理后台 UI可视化监控。

🤖 智能体（A2A）支持

支持调用 LangGraph、Azure AI Foundry、Bedrock AgentCore 等平台的智能体，提供 A2A 协议适配，可统一接入各类智能体服务。

🔗 MCP 工具桥接

可将 MCP 服务器的工具转换为 OpenAI 格式 tool 定义，直接对接任意 LLM；支持通过网关统一代理 MCP 工具调用。

🏢 企业级特性

单点登录（SSO）、自定义集成、专属支持、SLA 保障、功能优先级定制。高性能：1k RPS 场景下 P95 延迟仅 8ms。

💡 典型使用场景

场景一：多模型切换，代码零改动

开发阶段使用 GPT-4o 快速验证，生产环境切换到 Claude Sonnet，只需修改 model 参数，业务代码无需任何改动：

# 同一套代码，切换不同模型
from litellm import completion

response = completion(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "Hello!"}]
)

response = completion(
    model="anthropic/claude-sonnet-4-20250514",
    messages=[{"role": "user", "content": "Hello!"}]
)