标签: AI开源项目

  • 【开源推荐】Qdrant:32.2K+ Stars!Rust 构建的高性能向量数据库,AI 应用的向量检索引擎

    【开源推荐】Qdrant:32.2K+ Stars!Rust 构建的高性能向量数据库,AI 应用的向量检索引擎

    Q
    GitHub 热门 AI 开源项目
    第 29 期

    ⭐ 32.2K+ Stars

    Qdrant —— 为 AI 应用打造的高性能向量数据库

    用 Rust 构建 · 支持稠密/稀疏/多向量 · 生产级分布式部署

    📌 项目简介

    Qdrant 是一个用 Rust 编写的高性能向量数据库和向量搜索引擎,专为新一代 AI 应用设计。它提供生产级服务与便捷 API,支持存储、搜索和管理带附加载荷的向量,是构建 RAG、语义搜索、推荐系统等 AI 应用的理想数据底座。

    32.2K+
    GitHub Stars

    Rust
    核心语言

    97%
    RAM 节省

    ⚙️
    安装要求和过程

    环境要求

    • Docker 20.10+(推荐方式)
    • 或者:Rust 1.70+ 编译环境(源码安装)
    • Python 3.8+(使用 Python 客户端时)
    • 支持 Linux / macOS / Windows (WSL2)

    快速安装(Docker 方式)


    # 1. 拉取并启动 Qdrant(无认证,开发用)
    docker run -p 6333:6333 qdrant/qdrant

    # 2. 访问 Web UI
    open http://localhost:6333/dashboard

    # 3. 使用 Python 客户端
    pip install qdrant-client

    # 4. 源码编译安装(可选)
    git clone https://github.com/qdrant/qdrant.git
    cd qdrant && cargo build --release

    生产部署建议

    • 务必配置 API Key 认证(参考官方安全指南)
    • 使用持久化卷存储向量数据(-v $(pwd)/qdrant_storage:/qdrant/storage
    • 大规模场景启用分布式模式(需要 etcd / 类似协调服务)
    • 启用 TLS 加密传输


    核心功能

    🔍 多类型向量搜索

    同时支持稠密向量(语义相似度)、稀疏向量(全文搜索)、多向量(ColBERT 等延迟交互模型)搜索,一套系统满足多种检索需求。

    🎯 强大的载荷过滤

    为向量附加任意 JSON 载荷,支持关键词匹配、全文检索、数值范围、地理位置等丰富条件过滤,支持 should / must / must_not 条件组合,精准控制搜索范围。

    🔀 混合搜索

    单查询可组合多个向量,兼顾语义理解和关键词精度,支持倒数排名融合(RRF)、基于分布的分数融合(DBSF)等可配置融合策略,搜索效果更佳。

    💾 低成本存储优化

    内置向量量化能力,可降低最高 97% 的 RAM 占用;支持在搜索速度和精度之间按需权衡;同时支持磁盘存储,大幅降低运行成本。

    🚀 分布式高可用

    支持水平扩展,通过分片和副本实现高可用,可零停机更新或调整集合大小;支持 SIMD 硬件加速和 NVIDIA/AMD GPU 加速索引,性能卓越。

    💡
    典型使用场景

    📚 场景一:RAG 知识库问答

    将文档切片向量化后存入 Qdrant,用户提问时先检索最相关的片段,再送给 LLM 生成答案。Qdrant 的混合搜索和载荷过滤能力,让 RAG 系统既能理解语义,又能精确控制知识范围,是目前最流行的 AI 应用架构之一。

    🛒 场景二:电商语义搜索与推荐

    用户搜索”适合夏天透气的跑步鞋”,传统关键词搜索无法理解意图,而 Qdrant 的语义向量搜索能直接找到最相关的商品。再结合用户行为向量做个性化推荐,可大幅提升转化率和用户体验。

    🖼️ 场景三:图像/音频相似检索

    通过 CLIP 等多模态模型将图片/音频编码为向量,存入 Qdrant 后便可实现”以图搜图”、”相似音乐推荐”等功能。短视频平台、版权图库、人脸检索等场景均有广泛应用。

    💬 推荐理由

    如果你正在构建任何需要”理解语义”的 AI 应用,Qdrant 几乎是不二之选。作为向量数据库赛道的明星项目,它用 Rust 编写,性能和安全都有保障;API 设计简洁直观,Python 客户端几分钟就能上手;最关键的是,它不只是”能跑”,而是真正为生产环境设计——分布式、高可用、量化压缩、硬件加速,这些特性在大规模部署时价值巨大。

    我个人最喜欢它的混合搜索能力:语义向量 + 关键词 BM25 融合,再结合载荷过滤,搜索结果的质量比单纯向量检索高出一大截。加上活跃的开源社区和 Qdrant Cloud 托管选项,无论个人项目还是企业落地,都能找到合适的接入方式。2026 年做 AI 应用,向量数据库是必选项,Qdrant 值得放在你的技术选型清单首位。

    🔖 标签:AI · GitHub · 开源 · 向量数据库 · RAG · LLM · Rust · 语义搜索

    ⏱️ 预计阅读时间:6 分钟 | 更新时间:2026年6月14日

  • 【开源推荐】Dify:145K+ Stars!开源LLM应用开发平台,可视化构建AI工作流与RAG管道

    【开源推荐】Dify:145K+ Stars!开源LLM应用开发平台,可视化构建AI工作流与RAG管道

    Dify:145K+ Stars!开源LLM应用开发平台,可视化构建AI工作流

    TypeScript + Python 全栈 · Docker 一键部署 · 集成数百款LLM模型

    📌 项目简介

    Dify 是一款开源的大语言模型(LLM)应用开发平台,由 LangGenius 团队开发,已加入 Linux 基金会。它具备直观的可视化界面,整合了 AI 工作流、RAG 管道、智能体能力、模型管理和可观测性功能,帮助开发者快速完成从原型到生产环境的落地。截至 2026 年 6 月,Dify 在 GitHub 已获得 145,000+ Stars,是全球最受欢迎的 LLM 应用开发框架之一。

    145K+
    GitHub Stars

    50+
    内置工具集成

    300+
    LLM模型支持

    Apache-2.0
    开源协议

    🔧 安装要求和过程

    方式一:Docker Compose 部署(推荐,最快5分钟上线)

    环境要求:CPU ≥ 2核,内存 ≥ 4GiB,已安装 Docker 和 Docker Compose

    # 克隆仓库
    git clone https://github.com/langgenius/dify.git
    cd dify/docker
    
    # 复制环境配置
    cp .env.example .env
    
    # 启动服务(后台运行)
    docker compose up -d
    
    # 访问安装页面
    # 浏览器打开 http://localhost/install

    启动后访问 http://localhost/install 完成管理员账号初始化,即可开始使用。

    方式二:从源码部署(适合开发者定制)

    # 后端启动(Python 3.11+)
    cd api
    poetry install
    poetry run flask db upgrade
    poetry run flask run --host 0.0.0.0 --port 5001
    
    # 前端启动(Node.js 18+)
    cd web
    npm install
    npm run dev

    方式三:云服务版(无需部署,立即使用)

    直接访问 https://cloud.dify.ai 注册即用,免费版包含 200 次 OpenAI 调用额度。

    ⚡ 核心功能

    🎨 可视化工作流编排

    在画布上通过拖拽节点即可构建复杂的 AI 工作流,支持条件分支、循环、变量传递和并行执行。无需编写代码,产品、运营同学也能搭建生产级 AI 应用。

    🤖 全模型支持 & RAG 管道

    无缝集成 GPT、Claude、Llama3、Mistral、Gemini 等 300+ 专有/开源 LLM,兼容所有 OpenAI API 规范的模型。内置完整的 RAG 管道,支持从 PDF、PPT、Word 等常见文档格式中提取文本并建立知识库。

    🛠️ 智能体 + 50+ 内置工具

    基于 LLM Function Calling 或 ReAct 模式定义智能体,内置 Google 搜索、DALL·E、Stable Diffusion、WolframAlpha 等 50+ 工具,同时支持自定义工具接入,真正让 AI 能”做事”而不仅仅是”说话”。

    📊 Prompt IDE + 可观测性

    提供直观的 Prompt 编写和调试界面,支持对比不同模型性能表现。集成 Opik、Langfuse、Arize Phoenix 等可观测性工具,实时追踪 LLM 推理成本、延迟和准确率,让 AI 应用可监控、可优化。

    🔌 丰富 API & 生态集成

    提供完整的 REST API 和 SDK,支持将 Dify 应用嵌入到自有产品中。同时支持与 LangChain、Semantic Kernel 等框架集成,也可通过 AWS CDK、Terraform、Kubernetes 等方式部署到云端。

    💡 典型使用场景

    🏢

    企业知识库问答

    上传公司文档、产品手册、FAQ 建立知识库,构建基于 RAG 的智能客服或内部知识助手,准确回答员工和客户的提问,减少人工客服压力。

    🤖

    AI 工作流自动化

    用可视化画布编排多步骤 AI 任务:自动抓取网页内容 → 提取关键信息 → 调用 LLM 总结 → 发送邮件通知,全程无需写代码,像搭积木一样构建自动化流程。

    🚀

    快速 AI 产品原型验证

    产品团队在几小时内完成 AI 功能原型设计,通过 Dify 的 Playground 实时测试不同模型效果,快速验证产品想法,大幅缩短从创意到落地的周期。

    🌟 推荐理由

    作为一名开发者,我推荐 Dify 的最大理由是“它把 AI 应用开发从『写代码』变成了『搭积木』”。以前要集成 LLM、做 RAG、写 Agent 逻辑,需要深厚的 Full Stack 和 AI 工程经验;现在用 Dify 的可视化画布,产品、运营甚至非技术同学都能搭建出生产级的 AI 应用。

    另一个亮点是私有化部署能力。对于数据敏感的企业用户,Dify 可以完全部署在内部服务器,数据不出企业内网,同时享受和云服务版一样的功能体验。加上它对国产大模型(如通义千问、文心一言、智谱 GLM)的良好支持,在国内落地场景非常有优势。

    145K+ Stars 不是偶然。Dify 正在成为 AI 应用时代的”WordPress”——让每个人都能轻松拥有自己的 AI 应用。无论你是个人开发者、创业团队还是大型企业,Dify 都值得一试。

    📦 下载地址

    开源协议:Apache-2.0(附加 Dify 开源条款) · 主要语言:TypeScript 51.5% / Python 44.1%

  • 【开源推荐】Open Notebook:29.9K+ Stars!Notebook LM 开源替代品,隐私优先+18家AI模型随意切换

    【开源推荐】Open Notebook:29.9K+ Stars!Notebook LM 开源替代品,隐私优先+18家AI模型随意切换

    📌 项目简介

    Open Notebook 是 Google Notebook LM 的开源替代品,隐私优先、支持自托管,兼容 18+ AI 服务商(OpenAI、Anthropic、Ollama 等),让你完全掌控研究数据,不再受大厂绑定。

    29.9K+
    GitHub Stars

    18+
    AI 服务商

    100%
    数据自主

    MIT
    开源协议

    ⚙️ 安装要求和过程

    环境要求

    • 仅需安装 Docker Desktop(所有平台通用)
    • 支持 Windows / macOS / Linux
    • 需要约 2GB 磁盘空间

    快速安装(3 步搞定)

    # 第1步:下载 docker-compose.yml
    curl -o docker-compose.yml https://raw.githubusercontent.com/lfnovo/open-notebook/main/docker-compose.yml

    # 第2步:修改加密密钥(可选但推荐)
    # 编辑 docker-compose.yml,修改 OPEN_NOTEBOOK_ENCRYPTION_KEY

    # 第3步:启动服务
    docker compose up -d

    # 等待 15-20 秒后访问
    浏览器打开 http://localhost:8502

    安装完成后在浏览器打开 http://localhost:8502 即可使用,AI 密钥可在 Web UI 中配置,无需提前写入配置文件。

    ✨ 核心功能

    🔒
    隐私优先,数据自主

    自托管部署,所有研究数据存储在本地,完全不受 Google 服务器约束。支持 Docker / 云端 / 本地多种部署方式。

    🤖
    18+ AI 服务商兼容

    原生支持 OpenAI、Anthropic、Google、Groq、Ollama、DeepSeek、Mistral、xAI 等 18+ 家,也支持任意 OpenAI 兼容接口(LM Studio 等)。

    🎙️
    专业多角色播客生成

    支持 1-4 个可自定义角色的播客生成,比 Notebook LM 的 2 角色更灵活,可打造个性化内容输出。

    🔍
    全文 + 向量语义双搜索

    所有上传内容同时支持关键词全文检索和向量语义搜索,快速定位研究资料中的关键信息。

    完整 REST API

    提供完整的 REST API 接口,支持全流程程序化调用,可集成到现有工作流或自动化系统中。

    💡 典型使用场景

    场景一:学术研究资料管理

    上传论文 PDF、会议视频、网页资料,让 AI 基于你的资料库进行问答和总结。数据完全本地存储,敏感研究内容不外泄。

    场景二:多模型对比研究

    同时配置 OpenAI、Anthropic、DeepSeek 等多个模型,在同一套资料上对比不同模型的分析能力,选出最适合的模型。

    场景三:团队知识库 + 播客输出

    将团队文档、会议记录导入 Open Notebook,用 AI 生成洞察;还可将研究成果一键转换为多角色播客,方便团队内部分享。

    ⚡ Open Notebook vs Notebook LM

    对比维度 Open Notebook Notebook LM
    数据隐私 ✅ 自托管,完全自主 ❌ 仅 Google 云端
    AI 模型选择 ✅ 18+ 家,含本地模型 ❌ 仅 Google 模型
    播客角色数 ✅ 1-4 个可自定义 ⚠️ 仅 2 个
    API 访问 ✅ 完整 REST API ❌ 无
    成本 ✅ 只需支付 AI 调用费 ⚠️ 免费层 + 月费订阅
    开源定制 ✅ MIT 协议,完全可改 ❌ 封闭系统

    💬 推荐理由

    Google Notebook LM 确实好用,但它有两个痛点:数据在 Google 服务器上,以及只能用 Google 的模型。如果你研究的内容比较敏感,或者想用 DeepSeek / 本地 Ollama 来节省成本,Notebook LM 就没法满足你了。

    Open Notebook 最大的价值就是把控制权还给你:数据存在自己服务器上,想用哪个 AI 就用哪个,甚至可以在完全没有外网的环境里跑本地模型。而且它还有完整 REST API,可以接入自己的自动化流程。

    部署也超级简单,会 Docker 就能跑,三行命令搞定。如果你一直在找 Notebook LM 的平替,这个项目值得一试。开源、免费、不绑架数据,还要什么自行车?

    🤖 已支持 AI 服务商(部分)

    OpenAI
    Anthropic
    Google GenAI
    Groq
    Ollama
    DeepSeek
    Mistral
    xAI (Grok)
    OpenRouter
    Azure OpenAI
    Vertex AI
    MiniMax
    DashScope (Qwen)
    LM Studio

  • 【开源推荐】OpenClaw:37.8万+ Stars!支持微信/QQ的全平台私人AI助手,数据完全本地存储

    【开源推荐】OpenClaw:37.8万+ Stars!支持微信/QQ的全平台私人AI助手,数据完全本地存储

    ⭐ 378K+ Stars
    TypeScript
    AI助手
    开源MIT

    📌 项目简介

    OpenClaw 是一款运行在你自己设备上的私人AI助手,支持在你已经使用的所有聊天平台上与你对话——包括微信、QQ、WhatsApp、Telegram、Slack、Discord、Google Chat、Signal、iMessage、Microsoft Teams、Matrix等25+个平台

    OpenClaw 的愿景是让每个人都能拥有一个真正属于自己的AI助手——数据本地存储、跨平台无缝使用、支持语音唤醒和实时画布。项目由 OpenAI、GitHub、NVIDIA、Vercel 等机构赞助,自2025年11月发布以来迅速获得37.8万+ Star,是2026年最炙手可热的个人AI助手开源项目之一。

    🔧 安装要求和过程

    环境要求

    • 运行时:Node 24(推荐)或 Node 22.19+
    • 操作系统:Windows / macOS / Linux / Android / iOS
    • AI模型:支持 OpenAI、Anthropic、Gemini、DeepSeek、本地OAI模型等主流模型
    • 可选依赖:Docker(用于沙箱执行)、Discord/Slack Token(用于接入对应平台)

    快速安装(2步搞定)

    第一步:全局安装 OpenClaw

    npm install -g openclaw@latest
    # 或使用 pnpm
    pnpm add -g openclaw@latest

    第二步:运行引导向导,配置网关、工作区、频道和技能

    openclaw onboard –install-daemon

    安装完成后,OpenClaw 会以守护进程方式常驻后台(通过 launchd/systemd 管理),随时等待你的消息。

    测试是否运行正常

    # 查看网关状态
    openclaw gateway status

    # 发送测试消息
    openclaw message send –target +你的手机号 –message “Hello from OpenClaw”

    # 与AI助手对话
    openclaw agent –message “帮我写一个Python爬虫” –thinking high

    ⚠️ Windows用户注意:Windows 用户可以使用原生 Windows Hub companion 应用进行设置,支持系统托盘状态显示、聊天、节点模式和本地MCP模式。

    ✨ 核心功能

    🌐 1. 全平台频道支持,一个助手到处用

    OpenClaw 支持在你已经使用的所有平台上与AI助手对话,无需切换应用:

    • 国际平台:WhatsApp、Telegram、Slack、Discord、Google Chat、Signal、iMessage、IRC、Microsoft Teams、Matrix、LINE、Mattermost
    • 中国平台微信(WeChat)QQ、飞书(Feishu)
    • 其他:Twitch、Zalo、Nostr、Nextcloud Talk、Synology Chat、WebChat

    无论你在哪个平台发消息,OpenClaw 都能响应,真正实现”一个AI助手,全平台通用”。

    🎙️ 2. 语音唤醒 + 对话模式

    支持 Voice Wake(语音唤醒)Talk Mode(对话模式)

    • macOS / iOS:支持唤醒词触发,无需手动打开应用
    • Android:支持连续语音对话(基于ElevenLabs + 系统TTS降级方案)
    • 让你像和真人助理一样,用语音与AI自然交流

    🖼️ 3. 实时画布(Live Canvas)

    OpenClaw 提供 Agent驱动的实时可视化工作区,支持 A2UI协议。AI可以动态生成和修改界面元素,实现真正的”所见即所得”AI协作体验。

    比如在 macOS 上,AI可以帮你实时渲染图表、预览代码效果、可视化数据结构——所有这些都在一个动态画布上完成。

    🤖 4. 多Agent路由,隔离不同会话

    OpenClaw 支持 多Agent路由:可以将不同的频道/账号/联系人路由到隔离的Agent(独立工作区 + 独立会话),实现:

    • 工作账号和私人账号使用不同的AI配置
    • 不同项目使用独立的上下文和技能
    • 团队协作时每个人有专属的AI工作区

    🔌 5. 丰富工具生态 + MCP扩展支持

    OpenClaw 内置一流工具支持,并可通过 MCP(Model Context Protocol) 扩展:

    • 内置工具:浏览器自动化、实时画布、节点管理、定时任务(cron)、多会话管理、Discord/Slack操作
    • MCP扩展:兼容所有MCP服务器,可接入任意第三方工具
    • 技能市场ClawHub 提供大量社区贡献的技能包,一键安装

    🔒 6. 本地优先 + 沙箱安全

    OpenClaw 采用 本地优先(Local-first) 架构:

    • 所有数据存储在本地设备,不会上传到云端
    • 默认情况下,main 会话的工具有完整主机访问权限(因为你就是唯一用户)
    • 群组/频道场景可启用 沙箱模式(Docker/SSH/OpenShell后端),隔离非main会话的工具执行
    • 默认DM(私信)需配对验证,防止未知用户操控你的AI

    💡 典型使用场景

    场景一:跨平台个人AI助手

    无论你用的是微信、QQ、WhatsApp还是Telegram,都可以通过同一个AI助手处理任务——查资料、写代码、安排日程、管理邮件,全部在一个对话里完成。

    示例:在微信里对OpenClaw说”帮我总结今天的重要邮件”,AI会自动连接你的邮箱、提取关键信息并回复到微信。

    场景二:多项目AI工作区隔离

    如果你同时参与多个项目,可以为每个项目配置独立的Agent工作区,不同的上下文、不同的工具权限、不同的AI模型配置,互不干扰。

    示例:工作项目A使用Claude模型 + GitHub工具,个人项目B使用GPT模型 + 浏览器工具,两个项目的对话历史和配置完全隔离。

    场景三:语音驱动的家庭AI助理

    在 macOS/iOS/Android 上,通过语音唤醒词激活OpenClaw,进行语音对话。配合Home Assistant等智能家居平台,可以用语音控制家中设备。

    示例:说一句”Hey Claw,帮我关掉客厅的灯,并提醒我明天下午3点开会”,AI会自动完成这些操作。

    🌟 推荐理由

    • 真正的全平台覆盖:目前开源AI助手中,同时支持微信和QQ的极为罕见。OpenClaw 对国内用户非常友好,微信/QQ原生支持是最大亮点。
    • 本地优先,隐私安全:数据全部存在本地,无需担心隐私泄露。 compared to 云端AI助手(如ChatGPT App),OpenClaw让你真正”拥有”自己的AI。
    • 活跃的社区和赞助:OpenAI、GitHub、NVIDIA、Vercel 均为其赞助方,项目更新频繁(最近版本2026.6.6,几乎每天都有更新),长期维护有保障。
    • 架构先进,扩展性强:基于MCP协议、支持多Agent路由、沙箱隔离、实时画布,技术栈非常现代,适合开发者深度定制。
    • 37.8万Star不是偶然:项目2025年11月才创建,7个月内获得37.8万星,增长速度在AI开源项目中极为罕见,代表了真实的市场需求。

    个人使用感受:OpenClaw 最大的价值在于打破了AI助手的平台壁垒。以前要用AI助手,得打开特定的App或网页;现在无论你在微信、QQ还是Telegram,都能直接@你的AI助手。特别是对国内用户,微信/QQ的支持是巨大优势——这意味着你可以用最熟悉的方式,使用最强大的AI能力。如果你希望拥有一个真正”随时随地”的AI助手,OpenClaw 是目前最好的开源选择。

    📥 下载地址

    🔗 GitHub仓库:https://github.com/openclaw/openclaw(37.8万+ Stars)

    🌐 官方网站:https://openclaw.ai

    📖 官方文档:https://docs.openclaw.ai

    🚀 快速开始:https://docs.openclaw.ai/start/getting-started

    🔧 技能市场:https://clawhub.ai

    💬 Discord社区:https://discord.gg/clawd


    本文由自动化任务每日精选GitHub热门AI开源项目整理发布。项目数据截止2026年6月13日。

  • 【开源推荐】Agent-Reach:26.7K+ Stars!给AI Agent装上「全网眼睛」,免费读取Twitter/Reddit/YouTube/B站

    【开源推荐】Agent-Reach:26.7K+ Stars!给AI Agent装上「全网眼睛」,免费读取Twitter/Reddit/YouTube/B站

    ⭐ 26.7K+ Stars
    Python
    CLI工具

    📌 项目简介

    Agent-Reach 是一款为AI Agent提供全互联网内容访问能力的开源CLI工具,将Twitter、Reddit、YouTube、B站、小红书、抖音、GitHub、微信公众号等主流平台的信息获取能力封装为开箱即用的命令行工具,无需支付任何API费用

    AI Agent在信息获取上一直存在明显短板:无法直接访问社交平台、受限于API费用、配置复杂繁琐。Agent-Reach正是为解决这些痛点而生——它相当于给AI Agent一键装上了”全网眼睛”,让Claude Code、Cursor、OpenClaw等AI编程助手能够自由获取互联网上的实时信息。

    🔧 安装要求和过程

    环境要求

    • 操作系统:Windows / macOS / Linux
    • Python版本:3.8+
    • 依赖:可运行shell命令的AI Agent(Claude Code、Cursor、OpenClaw、Windsurf、Codex等)
    • 可选:Chrome浏览器(用于Cookie导出)

    快速安装(3步搞定)

    第一步:打开你的AI Agent(Claude Code/Cursor/OpenClaw等),输入以下指令:

    帮我安装 Agent Reach:https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md

    第二步:等待自动安装完成(工具会自动处理依赖、代理配置、Cookie登录等)

    第三步:安装完成后,对Agent说”测试一下Agent Reach”,验证各平台连通性

    ⚠️ OpenClaw用户注意:需先开启exec权限,执行 openclaw config set tools.profile "coding",或在 ~/.openclaw/openclaw.json 中设置 "tools": { "profile": "coding" },之后重启Gateway(openclaw gateway restart)并开启新对话。

    更新方法

    帮我更新 Agent Reach:https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/update.md

    ✨ 核心功能

    🌐 1. 开箱即用,无需任何配置

    以下平台安装后即可使用,无需API Key或账号配置:

    • 网页:直接读取任意网页内容,自动清理冗余HTML
    • YouTube:提取视频字幕、搜索视频
    • RSS:订阅并读取任意RSS/Atom源内容
    • 微信公众号:搜索内容、阅读全文(输出为Markdown格式)
    • 微博:获取热搜、用户动态、评论
    • V2EX:查看热门帖子、节点帖子、帖子详情+回复
    • 全网搜索:支持语义搜索,自动配置无需API Key

    🔑 2. 简单配置后解锁更多平台

    以下平台只需简单配置即可解锁:

    • GitHub:访问私有仓库、管理Issue/PR、操作Fork
    • X(Twitter):搜索推文、浏览时间线、发布推文
    • B站:提取本地字幕、搜索内容
    • Reddit:读取帖子和评论
    • 小红书:阅读内容、搜索、发帖互动
    • 抖音:视频解析、无水印下载
    • LinkedIn:获取Profile详情、公司页面、职位搜索
    • 小宇宙播客:播客音频转文字(基于Whisper转录,提供免费Key)

    🩺 3. 一键诊断,问题排查超简单

    执行 agent-reach doctor 命令即可自动检测各平台连通性,定位问题并给出修复方案,大幅降低运维成本。

    🔒 4. 隐私安全,Cookie本地存储

    用户Cookie仅存储在本地,不会上传或外泄,避免账号信息泄露风险。需要Cookie的平台(Twitter、小红书等),优先使用Chrome插件Cookie-Editor导出Cookie,发送给Agent即可完成配置。

    🔌 5. 极强兼容性,无缝衔接现有工作流

    支持所有可运行命令行的AI Agent,包括Claude Code、OpenClaw、Cursor、Windsurf、Codex等,安装后即刻生效,无需修改现有工作流。

    💡 典型使用场景

    场景一:AI Agent信息检索增强

    解决AI Agent无法访问社交平台、内容社区的问题。你可以让Agent获取X(Twitter)最新舆论、Reddit海外讨论、小红书真实种草内容、B站热门视频、公众号一手资讯等。

    示例:对Claude Code说”帮我搜索Twitter上关于GPT-5的最新讨论并总结”,Agent会通过Agent-Reach自动获取Twitter内容并分析。

    场景二:多平台内容聚合分析

    可同时对接多个内容平台,实现跨平台内容搜集、整理、分析,无需手动逐个平台操作。

    示例:让AI Agent”帮我收集B站、小红书、微博上关于AI编程助手的最新讨论”,Agent会自动从三个平台获取内容并汇总分析。

    场景三:低门槛AI工具扩展

    无技术背景的用户也可以快速让AI Agent具备全网信息获取能力,无需处理反爬、代理配置、环境调试等复杂工作。只需一句话指令,AI Agent即可完成安装配置。

    🌟 推荐理由

    • 极低使用门槛:无需手动处理工具选型、依赖安装、代理配置、Cookie登录、数据清洗等复杂流程,一句指令即可完成安装,非技术用户也可快速上手。
    • 完全免费开源:所有能力免费开放,无需支付API费用,可自由修改、扩展功能。MIT协议,商业使用也无顾虑。
    • 解决真实痛点:AI Agent的信息获取能力一直是短板,Agent-Reach恰好填补了这一空白,让AI Agent真正具备”感知互联网”的能力。
    • 活跃维护中:项目创建于2026年2月,至今仍保持活跃更新(最后更新2026年6月12日),社区反馈响应及时。
    • 支持平台广泛:覆盖15+主流内容平台,且持续增加中,基本涵盖国内外主要信息源。

    个人使用感受:Agent-Reach最大的价值在于极大地降低了AI Agent获取实时信息的能力门槛。以前要让AI获取Twitter或Reddit的信息,需要申请API、处理认证、写爬虫脚本,现在只需安装一个工具,对AI说一句话就能搞定。对于需要AI辅助调研、信息搜集的场景,这个工具堪称必备。

    📥 下载地址

    🔗 GitHub仓库:https://github.com/Panniantong/Agent-Reach

    🌐 官方网站:通过GitHub README中的安装链接获取

    📦 安装文档:https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md

    💬 问题反馈:通过GitHub Issues提交


    本文由自动化任务每日精选GitHub热门AI开源项目整理发布。项目数据截止2026年6月13日。

  • 【开源推荐】CopilotKit:34.8K+ Stars!面向AI Agent与生成式UI的前端技术栈

    【开源推荐】CopilotKit:34.8K+ Stars!面向AI Agent与生成式UI的前端技术栈

    ⭐ GitHub 34.8K+ Stars · MIT 开源

    CopilotKit

    The Frontend Stack for Agents & Generative UI

    📌 项目简介

    CopilotKit 是专为 AI Agent生成式 UI 打造的前端技术栈,支持 React、Next.js、Angular、Vue、React Native 及 Slack 等多端场景。它不仅是 SDK,更是 AG-UI 协议 的发起方,已被 Google、LangChain、AWS、Microsoft 等主流厂商采用。

    🚀 核心功能

    ① 全场景聊天 UI

    完全可定制的聊天界面组件,支持消息流式传输、工具调用可视化、Agent 响应实时渲染,接入仅需几行代码。

    ② 生成式 UI(Generative UI)

    Agent 可在运行时根据用户意图动态生成、更新 UI 组件,支持三种模式:静态模式(AG-UI 协议)、声明式模式(A2UI)、开放式模式(MCP Apps)。

    ③ 共享状态层

    Agent 和 UI 组件可同时读写同一份状态,实现真正的双向交互——UI 可以驱动 Agent,Agent 也可以更新 UI。

    ④ 人在回路(Human-in-the-Loop)

    Agent 执行过程中可暂停,等待用户确认、修改输入后再继续,确保关键操作始终在人的掌控之下。

    ⑤ 自学习 Agent(Beta)

    基于人类反馈的持续学习(CLHF)能力,无需微调模型即可通过用户交互自动优化行为,支持按用户偏好个性化适配。

    ⚙️ 安装要求与步骤

    环境要求

    • Node.js 18+(React/Next.js 项目)
    • 一个 LLM API Key(OpenAI / Anthropic / Gemini 等)
    • 现有前端项目或新建 Next.js 项目

    ① 快速初始化项目(5分钟内启动)

    npx copilotkit@latest create

    按提示输入 LLM 密钥,自动完成项目脚手架搭建。

    ② 安装 Agent 技能包(支持 Claude Code / Cursor / Codex)

    npx copilotkit@latest skills install

    可重复运行,随时更新到最新版技能包。

    💡 典型使用场景

    🤖

    AI 聊天助手集成

    为现有 SaaS 产品嵌入智能聊天界面,支持流式输出和工具调用展示,用户体验媲美 ChatGPT。

    📊

    动态数据仪表盘

    Agent 根据用户问题动态生成图表和可视化组件,用户可与生成的内容实时交互。

    🔄

    跨平台 Agent 应用

    同一套 Agent 后端同时支持 Web、移动端和 Slack,无需重复开发,大幅降低维护成本。

    🌐 AG-UI 协议:Agent 与原生 UI 的桥梁

    CopilotKit 是 AG-UI 协议的发起方。该协议定义了 Agent 与工作流如何与用户端应用无缝连接,已被 Google、LangChain、AWS、Microsoft、Mastra、PydanticAI 等主流厂商采用。

    npx create-ag-ui-app my-agent-app

    ✨ 推荐理由

    如果你正在开发 AI Agent 产品,CopilotKit 几乎是前端层的最佳选择。它解决了 Agent 与 UI 之间的核心痛点——如何让 LLM 的推理过程优雅地呈现在用户界面上。

    最打动我的是它的 生成式 UI 能力:Agent 不再只能返回文字,而是可以动态生成真正可交互的 UI 组件。结合 AG-UI 协议,你的 Agent 可以无缝对接任意前端框架。

    另外,CopilotKit 对 人在回路 的支持也非常完善,这对于企业级应用场景至关重要——让 AI 处理繁琐操作,关键决策点由人确认,既提高效率又保障安全。

    适合人群:AI 产品前端开发者、SaaS 创业者、企业数字化转型团队。

  • 【开源推荐】crawl4ai:68.3K+ Stars!专为LLM设计的网页爬虫,让AI直接读懂网页内容

    【开源推荐】crawl4ai:68.3K+ Stars!专为LLM设计的网页爬虫,让AI直接读懂网页内容

    crawl4ai - LLM友好网页爬虫工具

    crawl4ai – 专为LLM和AI Agent设计的网页爬虫工具 @reference_1@

    📌 项目简介

    crawl4ai 是一款专为LLM和AI Agent设计的开源网页爬虫工具,能将任意网页内容转换为干净的Markdown格式,可直接用于RAG、AI Agent、数据管道等场景,无需依赖任何付费API。

    68.3K+
    GitHub Stars

    Python
    开发语言

    v0.6+
    最新版本

    ⚙️
    安装要求和过程

    环境要求

    • Python ≥ 3.10
    • Playwright(用于异步浏览器控制)
    • 支持 Windows / macOS / Linux

    快速安装(4步搞定)

    # 第1步:安装 crawl4ai
    pip install -U crawl4ai
    # 第2步:配置浏览器依赖
    crawl4ai-setup
    # 第3步:验证安装
    crawl4ai-doctor
    # (可选)如 Playwright 报错,手动安装浏览器
    python -m playwright install chromium

    Docker 部署(生产推荐)

    # 拉取官方镜像
    docker pull unclecode/crawl4ai:latest
    # 启动容器
    docker run -d -p 11235:11235 –name crawl4ai –shm-size=1g unclecode/crawl4ai:latest
    # 访问监控面板
    http://localhost:11235/dashboard


    核心功能

    ① 智能 Markdown 生成

    生成结构清晰、格式准确的干净 Markdown,支持 Fit Markdown 启发式过滤,自动剔除无关噪音内容。支持 BM25 算法过滤,可提取核心信息,更适合 AI 处理。

    ② LLM 驱动的结构化数据提取

    支持所有 LLM(开源/闭源)驱动的结构化数据提取。内置多种分块策略,支持基于用户查询的语义内容匹配,可通过自定义 Schema 从重复页面模式中批量提取结构化 JSON。

    ③ 浏览器深度集成

    支持托管用户自有浏览器,通过 Chrome DevTools 协议实现远程浏览器控制。支持浏览器配置文件持久化(保存认证状态、Cookie),完美支持需要登录的网站爬取。

    ④ 动态页面与反爬对抗

    支持执行 JavaScript、等待异步动态内容加载、处理无限滚动页面。提供隐身模式模拟真实用户行为,支持自定义请求头、Cookie、User-Agent 和代理认证,有效绕过常见反爬限制。

    ⑤ Docker 一键部署 + API 服务

    提供优化后的 Docker 镜像,内置 FastAPI 服务,开箱即用。内置 JWT 令牌认证保障 API 安全,支持大规模生产环境部署,是构建数据采集基础设施的最佳选择。

    💡
    典型使用场景

    场景1:RAG 知识库数据准备

    将网页内容转换为干净 Markdown,作为 RAG 系统的知识库来源。crawl4ai 的 Fit Markdown 功能可自动过滤导航栏、广告、页脚等噪音,只保留核心正文,避免无关内容干扰大模型输出。配合深度爬取(BFS/DFS策略)可批量采集整个网站。

    场景2:AI Agent 实时信息获取工具

    将 crawl4ai 封装为 AI Agent 的工具函数,让 Agent 能够自主爬取所需网页内容。比如用户问”今天有哪些 AI 新闻?”,Agent 可自动爬取新闻网站并提取结构化信息,真正实现 AI 联网能力。

    场景3:大规模数据采集管道

    结合 Docker 部署、浏览器池、缓存机制,搭建大规模高并发网页数据采集系统。内置的浏览器配置文件持久化能力,可保存登录状态实现需要认证的网站批量采集,适合构建企业级数据采集基础设施。

    🚀 30秒快速开始

    Python 代码方式:
    import asyncio
    from crawl4ai import *

    async def main():
    async with AsyncWebCrawler() as crawler:
    result = await crawler.arun(url=”https://example.com”)
    print(result.markdown) # 获取干净 Markdown

    if __name__ == “__main__”:
    asyncio.run(main())

    CLI 命令行方式:
    crwl https://example.com -o markdown
    # 深度爬取,最多10个页面
    crwl https://docs.crawl4ai.com –deep-crawl bfs –max-pages 10

    💝
    推荐理由

    如果你正在构建 RAG 系统或 AI Agent,crawl4ai 是目前开源界最值得关注的网页数据采集工具。它解决了传统爬虫的两个核心痛点:

    第一,真正为 LLM 优化。 传统爬虫输出的是原始 HTML 或杂乱文本,需要大量后处理才能喂给大模型。crawl4ai 直接输出干净、结构化的 Markdown,内置的 Fit Markdown 功能可以智能过滤导航、广告等噪音,让 RAG 召回质量大幅提升。

    第二,对动态页面和反爬场景的支持非常完善。 基于 Playwright 的浏览器控制,可以处理 React/Vue 等前端框架渲染的页面,支持等待异步内容加载、处理无限滚动。隐身模式和浏览器指纹自定义功能,让我在采集一些有反爬机制的网站时也能稳定获取数据。

    最让我惊喜的是它的 Docker 部署方案。 几分钟就能搭建一个带 API 服务的爬取引擎,内置 JWT 认证,可以直接集成到现有数据管道中。对于需要大规模采集的场景,这比手写 Scrapy 爬虫效率高太多了。

    ⭐ 总之,如果你需要为 AI 应用添加网页数据获取能力,crawl4ai 是目前最成熟的开源选择,没有之一。

    📥 下载地址

    License: Apache 2.0 | 作者: UncleCode | 最近更新: 2026年6月

    💡 关注【开源推荐】系列,每周带你发现最值得关注的 AI 开源项目
    ⭐ 如果这篇文章对你有帮助,欢迎在 WordPress 点赞留言!

  • 【开源推荐】autoresearch:86K+ Stars!Karpathy开源AI自主研究工具,让Agent通宵帮你优化LLM训练

    【开源推荐】autoresearch:86K+ Stars!Karpathy开源AI自主研究工具,让Agent通宵帮你优化LLM训练

    🔥 GitHub 热门 AI 开源项目

    autoresearch

    AI Agent 自主运行 LLM 训练研究 · Karpathy 出品

    🤖 AI Agent
    🧠 深度学习
    ⚡ 单GPU
    🔬 自动研究

    📌项目简介

    autoresearch 是 AI 大神 Andrej Karpathy(前 Tesla AI 总监、OpenAI 创始成员)开源的颠覆性项目——让 AI Agent 在单张 GPU 上自主运行深度学习实验,自动修改代码、训练模型、评估结果,通宵跑完 100+ 实验,早上起来收报告。这不是科幻,是现在就能用的真实工具。

    ⚙️安装要求和过程

    1

    环境要求

    单张 NVIDIA GPU(测试过 H100)、Python 3.10+、uv 包管理器

    2

    快速安装(4步搞定)

    # 1. 安装 uv(如果还没有)
    curl -LsSf https://astral.sh/uv/install.sh | sh
    
    # 2. 安装依赖
    uv sync
    
    # 3. 下载训练数据 + 训练 BPE 分词器(一次性,约2分钟)
    uv run prepare.py
    
    # 4. 手动跑一次训练实验(约5分钟)
    uv run train.py

    3

    启动 AI Agent 自主研究

    在仓库目录下启动 Claude Code / Codex 等 AI Agent(关闭所有权限确认),然后发送提示:

    Hi have a look at program.md and let's kick off a new experiment!
    let's do the setup first.

    4

    低配设备适配

    没有 H100?社区已有 macOSMLXWindows RTX 等 Fork,MacBook 也能跑!

    核心功能

    🤖

    AI Agent 自主研究

    Agent 自动修改 train.py,训练5分钟,检查 val_bpb 是否下降,保留或丢弃改动,不断迭代。你只需要睡前启动,早上收实验日志。

    ⏱️

    固定时间预算(公平对比)

    每次实验固定5分钟(wall clock),不管 Agent 怎么改模型架构、batch size,所有实验都可直接对比。约12次实验/小时,通宵可跑100+次。

    📁

    极简设计(只改一个文件)

    整个仓库只有3个核心文件:prepare.py(固定)、train.py(Agent 修改)、program.md(人类修改)。diff 清晰可审查,不会失控。

    🔌

    支持任意 AI Agent

    Claude Code、OpenAI Codex、Gemini CLI、OpenClaw……任何能读写文件的 AI Agent 都能用。program.md 本质上是一个超轻量级的”技能提示词”。

    🌍

    活跃社区 Fork(多平台支持)

    macOS(M系列芯片)、Windows(RTX显卡)、MLX框架均有社区 Fork,低配设备也能体验 AI 自主研究。

    🚀典型使用场景

    🌙 场景一:夜间自动实验

    下班前启动 Agent,让它通宵自主实验。第二天早上,你会收到一份完整的实验日志,记录每次改动、训练曲线和验证集效果。相当于白得一个不知疲倦的研究生。

    🔬 场景二:快速模型架构探索

    想尝试不同的注意力机制、优化器组合或模型深度?让 Agent 在固定时间预算内自动探索各种组合,快速找到最优配置,省去大量手工调参时间。

    📚 场景三:学习深度学习最佳实践

    即使是深度学习初学者,也可以阅读 Agent 的修改记录和实验日志,从中学习哪些改动有效、哪些无效,快速积累建模经验。

    💡推荐理由

    Karpathy 出品,必属精品。autoresearch 最震撼的地方在于它把”AI 做 AI 研究”从科幻变成了现实——而且代码极简,整个训练代码只有一个 train.py,清晰到可以作为学习材料。

    固定5分钟时间预算的设计非常巧妙:不管怎么改模型,每次实验成本相同,结果可直接对比。这让 Agent 的”研究”变得可解释、可复现,而不是黑盒魔法。

    ⚠️ 注意:目前官方版本需要 NVIDIA GPU,低配设备建议使用社区 Fork。但无论如何,这个项目代表的”AI 自主研究”方向,值得每个 AI 从业者关注和思考。

    📦下载地址

    🔔 关注我们,每周分享最新 AI 开源项目!

    GitHub 热门 AI 项目持续更新中…

  • 【开源推荐】Skyvern:21.8K+ Stars!AI视觉浏览器自动化,让网页操作像对话一样自然

    【开源推荐】Skyvern:21.8K+ Stars!AI视觉浏览器自动化,让网页操作像对话一样自然

    Skyvern:21.8K+ Stars!AI 视觉浏览器自动化,让网页操作像对话一样自然

    基于 LLM + 计算机视觉 · 告别脆弱的 XPath 选择器 · 自适应任意网站布局

    📌 项目简介

    Skyvern 是一款基于大语言模型(LLM)和计算机视觉的开源浏览器自动化工具。与传统依赖 XPath/选择器的脆弱自动化脚本不同,Skyvern 通过 AI 视觉理解网页结构,自动适配任意网站布局变化,真正实现了”一次编写,随处运行”的浏览器自动化体验。项目在 GitHub 已获得 21,880+ Stars,是 AI RPA 领域的热门开源项目。

    21.8K+
    GitHub Stars

    64.4%
    WebBench 准确率 SOTA

    AGPL-3.0
    开源协议

    Playwright
    兼容增强 SDK

    ⚙️ 安装要求和过程

    方式一:pip 安装(推荐)

    环境要求:Python 3.11 / 3.12 / 3.13;Windows 用户需安装 Rust 运行时和 VS C++ 开发工具

    # 安装 Skyvern
    pip install "skyvern[all]"
    
    # 快速启动(默认 SQLite)
    skyvern quickstart
    
    # 如需 PostgreSQL
    skyvern quickstart --postgres

    方式二:Docker Compose(完全容器化)

    git clone https://github.com/Skyvern-AI/skyvern.git
    cd skyvern
    cp .env.example .env   # 编辑 .env 填入 LLM API Key
    docker compose up -d
    # 访问 http://localhost:8080

    方式三:Skyvern Cloud(免维护)

    直接访问 app.skyvern.com 注册使用,自带反机器人检测、代理网络、验证码破解等高级功能。

    ⭐ 核心功能

    ① AI 增强的浏览器操作
    通过 4 个核心 AI 指令(act / extract / validate / prompt)用自然语言驱动浏览器,无需手写选择器。同时兼容所有 Playwright 原生操作,支持”传统选择器 + AI 定位”混合模式。

    ② 可视化工作流编排
    提供无代码工作流构建器,支持浏览器任务、数据提取、循环、条件判断、HTTP 请求、自定义代码块等能力,非技术用户也能搭建复杂自动化流程。

    ③ 强大的认证与 2FA 支持
    内置密码管理器集成(Bitwarden / 1Password / LastPass),支持 TOTP 双因素认证(Google Authenticator / Authy)、邮件 2FA、短信 2FA,可自动化登录各类需认证的网站。

    ④ 多 LLM 兼容 + MCP 协议支持
    支持 OpenAI、Anthropic Claude、Azure OpenAI、AWS Bedrock、Gemini、Ollama、OpenRouter 及任何 OpenAI 兼容端点;同时支持 MCP 协议,可对接 Zapier、Make.com、N8N 等平台。

    ⑤ 实时浏览器直播与本地 Chrome 控制
    可实时直播浏览器视口画面便于调试;支持接入本地已安装的 Chrome(通过 CDP 调试协议),复用已有 Cookie、登录态和浏览器扩展,真正实现”人机协同”自动化。

    🚀 典型使用场景

    场景一:跨网站发票自动下载
    企业需要定期从多个供应商网站下载发票,传统 RPA 脚本逢网站改版即失效。使用 Skyvern,只需描述”登录各供应商网站,下载上月发票并保存到指定目录”,AI 即可自动适配不同网站布局完成任务,网站改版也无需维护脚本。

    场景二:批量联系表单提交
    市场团队需要在上百个网站的”联系我们”表单提交产品咨询。Skyvern 通过 AI 视觉理解每个表单的字段含义,自动填写并提交,无需为每个网站单独编写填表规则,效率提升 10 倍以上。

    场景三:求职申请自动填写
    在多个招聘平台投递简历时,Skyvern 可自动识别各平台的简历上传入口和表单字段,自动填写个人信息并提交申请,大幅减少重复性操作,让求职者专注于准备面试。

    💡 推荐理由

    作为一名经常需要与多个网站打交道的开发者,我深刻体会过传统浏览器自动化的痛点——XPath 一改,脚本全挂。Skyvern 最打动我的是它”用 AI 视觉理解网页”的思路:不再依赖固定的 DOM 选择器,而是由 LLM 实时分析页面视觉结构,真正做到了”布局无关”。

    另一个亮点是它与 Playwright 的深度兼容——你可以在同一个脚本里混合使用传统选择器(高性能)和 AI 操作(高适配),这种渐进式采用策略对已有自动化代码库的团队非常友好。加上对工作流编排、多 LLM 支持和企业级认证能力的覆盖,Skyvern 正在重新定义”AI + RPA”的边界。

    ⚠️ 注意:核心代码以 AGPL-3.0 开源,但反机器人检测等高级功能仅在托管云服务中提供。如果只是内部使用,完全够用;如果用于商业产品,建议评估云服务的许可方案。

    📌 更多 GitHub 热门 AI 开源项目介绍,请持续关注本站「开源项目」栏目
  • 【开源推荐】markitdown:150K+ Stars!微软开源文档转Markdown神器,LLM管道必备

    【开源推荐】markitdown:150K+ Stars!微软开源文档转Markdown神器,LLM管道必备

    MICROSOFT 开源

    markitdown

    150K+ Stars · 将任意文档一键转换为 Markdown

    Python 3.10+
    MIT 开源
    LLM 友好
    📌 项目简介

    markitdown 是微软出品的一款轻量级 Python 工具,支持将 PDF、PowerPoint、Word、Excel、HTML、CSV、JSON、音频、视频等 数十种文件格式 统一转换为 Markdown 格式,是大模型文档处理管道中的核心基础设施。

    安装要求与过程

    环境要求
    • Python 3.10 及以上版本
    • 推荐使用虚拟环境(venv / uv / conda)
    • pip 21.0+(用于安装可选依赖组)
    快速安装(全格式支持)
    # 全量安装(推荐)
    pip install 'markitdown[all]'
    
    # 命令行直接使用
    markitdown document.pdf > output.md
    
    # Python API 使用
    from markitdown import MarkItDown
    md = MarkItDown()
    result = md.convert("document.pdf")
    print(result.text_content)

    按需安装(减少依赖体积)
    pip install 'markitdown[pdf, docx, pptx]'   # 仅 PDF/Word/PPT
    pip install 'markitdown[youtube-transcription]'  # 仅 YouTube 字幕

    核心功能

    📄 多格式支持
    PDF、Word、PPT、Excel、HTML、CSV、JSON、XML、EPUB、ZIP,覆盖办公全场景

    🖼️ 图片 & 音频
    图片 EXIF 元数据提取 + OCR,音频语音转写,视频字幕自动获取

    🤖 LLM 集成
    可调用 GPT-4V 等大模型为图片/幻灯片生成描述,增强多模态理解

    🔌 插件扩展
    支持第三方插件(如 markitdown-ocr),社区插件标签 #markitdown-plugin

    ☁️ Azure 集成
    支持 Azure Document Intelligence 和 Azure Content Understanding,企业级文档解析能力

    典型使用场景

    场景一:RAG 知识库文档预处理

    在构建 RAG(检索增强生成)应用时,需要将企业内部的 PDF 手册、Word 文档、PowerPoint 课件统一转换为 Markdown,再切片嵌入向量数据库。markitdown 一条命令批量处理,保留标题层级和表格结构,大幅提升检索精度。

    for f in docs/*.pdf; do
      markitdown "$f" -o "md/${f%.pdf}.md"
    done

    场景二:LLM 文档理解管道

    将用户上传的任意格式文档(简历、合同、报告)转换为 Markdown 后传给 LLM 进行分析、摘要或信息提取。markitdown 的 Markdown 输出对 Token 消耗远低于原始二进制格式,降低成本。

    from markitdown import MarkItDown
    md = MarkItDown()
    result = md.convert("contract.docx")
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role":"user","content":f"摘要:{result.text_content}"}]
    )

    💡 推荐理由

    作为一名经常和 LLM 打交道的开发者,markitdown 已经成为我工具箱里的常驻成员。它的价值在于把”任意文档”变成”LLM 能理解的文本”,这在大模型应用开发中是一个高频且痛点的需求。

    最让我惊喜的是它的格式保留能力——转换后的 Markdown 仍然保留表格结构、标题层级和链接,这直接决定了 RAG 检索的质量。相比之下,很多同类工具转换后就只剩纯文本了。

    来自微软 AutoGen 团队的维护保证,加上 150K+ Stars 的社区验证,这款工具的可靠性和迭代速度都非常值得信赖。如果你正在做任何涉及文档处理的大模型应用,markitdown 绝对是不二之选。

    由 AI 自动整理,更多开源项目介绍持续更新中 🚀