YOHO AI

标签： Y Combinator

  • AI 基建狂飙，最不性感的生意反而火了：帮工地填表的 Dili 融了 2170 万美元

    这两年关于 AI 的钱，大头都砸在数据中心和电力设施上。有人从另一头看到了机会：这么多工地同时开工，光是把各类合规文件填对、报齐，就够养活一家公司。

    美国数据中心与基础设施建设现场
    图片来源：Kyle Grillot/Bloomberg / Getty Images

    7 月 30 日，一家叫 Dili 的 AI 合规公司宣布完成 1500 万美元 A 轮融资。加上此前的 670 万美元种子轮，累计融资 2170 万美元。A 轮由 Khosla Ventures 领投，安联（Allianz）、Rebel Fund、Brick and Mortar Ventures 的 Darren Bechtel 以及 Y Combinator 的 Garry Tan 跟投。Dili 出自 YC 2023 年夏季批次。

    它盯上的是一堆没人愿意读的规则

    “用 AI 做合规”现在算不上什么新鲜提法，一抓一大把。Dili 的差异在于它把范围收得很窄——只做美国基建工程的合规，尤其是那些拿了联邦资金的项目。

    联合创始人兼 CEO Anand Chaturvedi 举的例子是 Davis-Bacon 法案，这套规则允许劳工部为特定项目设定现行工资标准。另一套叫 PWA 的现行工资与学徒制规则，适用于《通胀削减法案》资助的清洁能源项目。除此之外，根据施工内容不同，还会牵扯 OSHA 的职业安全条款和 EPA 的环保规定。

    这些要求层层叠叠、互相交错，而且犯一点小错代价就不小。

    “不合规可能让这些项目被罚掉数百万美元。所以能在信息进来的当下就全部核对一遍，而不是抽样检查，这件事的价值非常大。”——Dili 联合创始人兼 CEO Anand Chaturvedi

    抽样和全量的区别，就是这门生意的入口。人工审核只能抽查，成本摆在那儿；机器读得快，才有可能一条不落。

    大模型被关在数据层，不让它拍板

    罚款以百万美元计，可靠性就成了绕不过去的坎。做合规最怕的恰恰是大模型那点”差不多就行”的毛病——它给你一个听起来很像回事的答案，你还不知道错在哪。

    Chaturvedi 说 Dili 的架构从设计上就把这个风险堵住了：AI 模型只在数据层出现，负责把非结构化的文档翻译成结构化数据；再往后，由一套确定性系统按照复杂但静态的合规规则做分拣判定。

    • AI 负责”读懂”——处理 PDF、扫描件、工资表这类乱七八糟的输入；
    • 规则引擎负责”判定”——同样的输入永远得到同样的结论，可追溯、可复核；
    • 结果是过去一整天的工作量，现在几分钟就能跑完。

    这个分工看着朴素，却是当下企业级 AI 里少见的清醒做法。很多产品恨不得把判断权也交给模型，因为那样演示起来更炫；Dili 反过来，把模型能力限制在它最擅长也最不容易出事的环节。

    Chaturvedi 描述过他想要的那个状态：把一家公司所有内部文档、所有供应商文档、所有 ERP 信息、所有工资系统数据放在一起通读，然后精准抽出报表或合规所需要的那部分。

    700 个项目，一半自用一半外包

    这套东西已经跑起来了。Chaturvedi 说软件目前用在”大约 700 个项目”上，从制造工厂到数据中心都有。

    更有意思的是收入结构：大约一半客户把 Dili 当成内部软件工具用，另一半干脆把整个合规流程外包给 Dili，按承包商模式合作。两种合同 Dili 都接，但 Chaturvedi 预计行业未来几年会更多往软件模式偏。

    他的判断是，软件和 AI 会开始吃掉大量专业服务类的工作流，越来越多的公司会把这些活收回自己手里。这话说白了就是：现在的外包收入，本质上是过渡期的红利。

    这轮 AI 淘金热的另一种铲子

    AI 基建的故事讲了两年，主角一直是芯片、机柜、变电站。Dili 提醒了一件常被忽略的事：任何一轮大规模基建，配套长出来的都不只是钢筋水泥，还有一整套文书工作。工地越多，表格越多，罚单风险越大。

    Khosla 愿意领投一家做工地合规的公司，赌的也是这个——AI 泡沫会不会破是一回事，那 700 个工地上的 Davis-Bacon 表格今天就得交。这类需求不依赖模型能力再上一个台阶，也不需要客户相信 AGI，它只需要基建热潮持续开工。在满屏”下一代模型”的叙事里，这可能反倒是更耐摔的一门生意。

  • LiteLLM：统一 100+ LLM 提供商的 AI 网关，52K+ Stars 让 AI 生产部署变得简单

    LiteLLM：统一 100+ LLM 提供商的 AI 网关，52K+ Stars 让 AI 生产部署变得简单

    🔮 LiteLLM：统一 100+ LLM 提供商的 AI 网关

    ⭐ 52,678+ Stars | 🚀 Y Combinator W23 | 💻 Python | 📅 2023年创建


    LiteLLM Logo

    📝 项目简介

    LiteLLM 是 BerriAI 团队开发的开源 AI 网关（AI Gateway），通过统一的 OpenAI 格式 API 接入 100+ 大语言模型提供商（OpenAI、Azure、Anthropic、Bedrock、Cohere、Hugging Face、vLLM、NVIDIA NIM 等），内置成本追踪、护栏（Guardrails）、负载均衡、日志审计等生产级特性，让 AI 应用从原型到规模化部署变得简单可靠。

    作为 Y Combinator W23 孵化的项目，LiteLLM 已成为 AI 生产部署领域的事实标准基础设施，月下载量超百万，被 Fortune 500 多家企业采用。

    ⚙️ 安装要求和过程

    环境要求

    • Python：3.8+（推荐 3.10+）
    • Node.js：18+（如需使用 TypeScript SDK）
    • Docker：可选，用于容器化部署
    • 数据库：SQLite（默认）/ PostgreSQL（生产推荐）

    快速安装

    方式一：Python SDK（轻量级，适合开发）

    pip install litellm

    # 最简调用示例
    import litellm
    response = litellm.completion(
    model=”gpt-4o”,
    messages=[{“role”: “user”, “content”: “Hello!”}]
    )
    print(response)

    方式二：Proxy Server（AI 网关，生产推荐）

    # 安装 Proxy 组件
    uv tool install ‘litellm[proxy]’

    # 启动网关（默认端口 4000）
    litellm –model gpt-4o

    # 或使用 Docker
    docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml -p 4000:4000 ghcr.io/berriai/litellm:main

    方式三：Python SDK 调用本地网关

    import openai

    client = openai.OpenAI(
    api_key=”anything”, # LiteLLM 使用虚拟密钥
    base_url=”http://0.0.0.0:4000″
    )
    response = client.chat.completions.create(
    model=”gpt-4o”,
    messages=[{“role”: “user”, “content”: “Hello!”}]
    )

    🌟 核心功能

    • 🔗 100+ LLM 提供商统一接入：一次集成，随意切换。支持 OpenAI / Azure / Anthropic / Bedrock / Vertex AI / Cohere / Hugging Face / vLLM / NVIDIA NIM 等，调用格式完全兼容 OpenAI API。
    • 💰 成本追踪与预算控制：自动记录每次 API 调用的 Token 消耗和费用，支持按用户/团队/项目设置预算上限，防止 API 费用失控。Dashboard 实时展示成本趋势。
    • ⚖️ 负载均衡与故障转移：支持多模型/多提供商之间的智能路由（轮询、最少占用、最快响应等策略），某个提供商宕机时自动切换，保障服务高可用。
    • 🛡️ 护栏（Guardrails）：内置内容审核、敏感信息脱敏、输出格式校验等安全机制，支持对接 AWS Bedrock Guardrails、Azure Content Safety 等外部服务，让 AI 输出更安全可控。
    • 🔌 MCP 网关 + A2A 协议：不仅是 LLM 网关，还支持 MCP（Model Context Protocol）服务器接入，以及 Google A2A（Agent-to-Agent）协议，让智能体之间也能通过 LiteLLM 互联互通。

    💡 典型使用场景

    场景一：AI 创业公司快速接入多模型

    某 AI 助手创业公司希望同时接入 GPT-4o（处理复杂推理）、Claude Sonnet（内容创作）、Gemini Flash（高速低成本），并随时根据性价比切换。使用 LiteLLM 后，只需修改 model 参数，无需重写任何调用代码，且所有成本自动追踪到各模型/用户维度。

    价值：开发效率提升 5 倍，成本透明度 100%，切换模型零代码改动。

    场景二：企业级 AI 中台的统一网关

    某 Fortune 500 企业构建内部 AI 中台，需要对接多家 LLM 服务商，同时管控各部门的 API 使用权限和预算。LiteLLM Proxy Server 部署在内网，统一管理所有虚拟密钥（Virtual Keys），按部门设置月度预算，所有调用日志实时同步到 Snowflake / BigQuery，满足合规审计要求。

    价值：统一安全管理、成本可控、满足企业合规要求，支持 SSO / LDAP 认证集成。

    场景三：开源 AI 应用的云端部署

    开发者将 AI 应用部署到 Render / Railway / AWS / GCP，通过 LiteLLM 统一管理不同环境的模型配置。利用 LiteLLM 的配置文件（YAML），开发/测试/生产环境使用不同模型和预算上限，且可一键切换，极大简化了 CI/CD 流程。

    价值：多环境配置管理简单，一键部署，支持 Terraform 自动化。

    🌟 推荐理由

    如果要用一个词形容 LiteLLM，那就是「刚需」。

    在 AI 应用开发的早期，大家都是直接调用 OpenAI API，简单直接。但随着业务发展，你会发现：

    • OpenAI 有时不可用，需要备用方案
    • 不同模型性价比差异巨大，需要灵活切换
    • API 费用成了一笔糊涂账，不知道哪个功能/用户花了多少
    • 要对接企业内部的安全合规要求

    这些痛点，LiteLLM 一次性全部解决。它的设计哲学是「不重复造轮子，而是让轮子更好用」——不会要求你改变现有代码，只是在上层加了一个智能的路由层。

    我最喜欢的功能是 Virtual Keys（虚拟密钥）：给每个用户/团队分配独立的 API Key，他们用这个 Key 调用 LiteLLM 网关，网关再转发到真实的 LLM API。这样既能精确追踪成本，又不必把真实的 OpenAI/Azure Key 暴露给所有人。

    另外，LiteLLM 对 MCP 协议和 A2A 协议的支持也走在行业前列，这意味着它不仅是 LLM 的网关，更是未来 AI 智能体生态的互联枢纽。

    如果你正在构建生产级 AI 应用，LiteLLM 是你不应该跳过的基础设施。

    📥 下载地址

    GitHub 仓库
    官方文档
    Enterprise 版本
    PyPI 安装

    快速开始：

    # 仅需一行命令，即刻体验
    uv tool install ‘litellm[proxy]’
    litellm –model gpt-4o

    # 浏览器打开 Dashboard
    open http://localhost:4000/ui

    适用人群：AI 应用开发者、企业 AI 平台团队、LLM 运维工程师、全栈开发者

    许可证：NOASSERTION（商业使用请查看最新许可证）

    官方支持：Discord 社区 / WhatsApp 群组 / Slack 频道，响应迅速