YOHO AI

标签： 网页抓取

  • Crawl4AI：把全网网页变成 LLM 能直接用的干净 Markdown，RAG 数据清洗一步到位（71.8K★）

    Crawl4AI：把全网网页变成 LLM 能直接用的干净 Markdown，RAG 数据清洗一步到位（71.8K★）

    Crawl4AI 项目封面

    一、项目简介

    Crawl4AI 是一个开源、对大模型友好的网页爬虫与抓取框架，能把任意网页一键转换成结构清晰、可直接喂给 LLM / RAG 的 Markdown，并支持结构化数据提取、截图、动态渲染等能力。对做检索增强、知识库、Agent 联网取数的人来说，它基本等于把”爬虫 + 清洗”两道工序合并了。

    二、安装要求和过程

    环境要求：Python 3.10 及以上；底层基于 Playwright（Chromium），首次使用需下载浏览器内核。

    快速安装（Python 包）：

    # 安装
pip install -U crawl4ai

# 安装后执行一键浏览器配置
crawl4ai-setup

# 自检环境是否就绪
crawl4ai-doctor

# 若遇到浏览器相关报错，可手动补全
python -m playwright install --with-deps chromium

    Docker 部署（推荐生产环境）：

    docker pull unclecode/crawl4ai:latest
docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g unclecode/crawl4ai:latest
# 监控面板: http://localhost:11235/dashboard
# 交互 playground: http://localhost:11235/playground

    三、核心功能

    • LLM 就绪的 Markdown 输出：智能 Markdown 保留标题、表格、代码块，并提供 Fit Markdown（裁剪导航/广告等无关内容）、引用标注，以及基于 BM25 算法的内容过滤，正文噪声大幅降低。
    • 结构化数据提取：支持基于 LLM 的 Schema 提取、CSS 选择器提取、余弦相似度匹配，配合分块（Chunk）策略，直接产出 Pydantic 结构化对象，无需手写正则。
    • 真·浏览器级抓取：基于 Playwright 托管浏览器，支持会话保持、代理、Cookie、用户脚本、Hook、动态视口调整、懒加载处理，还能截图与生成 PDF。
    • 自适应爬取与调度：异步浏览器池 + 缓存机制，能学习网站结构、只爬该爬的页面；内置深度爬取与内存自适应调度，从单页到万级站点都能扛。
    • 部署灵活、可接 Agent：零密钥、CLI + Docker 双形态；新版 Docker 自带监控面板、浏览器池预热、Playground 与 MCP 集成，可直连 Claude Code 等 AI 编程工具。

    四、典型使用场景

    • 搭 RAG 知识库：把公司文档站、竞品官网、行业博客批量抓成干净 Markdown，直接喂进向量库做检索增强，省去大量手写清洗规则。
    • 生成 LLM 训练 / 微调语料：用 LLM 提取策略从定价页、榜单页抽取结构化字段（例如各家模型的价格表），产出干净的 JSON 数据集。
    • AI Agent 联网取数：通过 Docker + MCP 把 Crawl4AI 接进 Agent 工作流，让智能体实时抓取网页、执行 JS、截图后回写结果，补足大模型”看不见实时网页”的短板。

    五、推荐理由

    我自己踩过不少爬虫的坑：传统方案要么反爬头疼，要么抓下来的 Markdown 一堆导航/侧边栏噪音，接 RAG 前还得再写一层清洗。Crawl4AI 的 Fit Markdown + BM25 过滤基本把”正文 vs 杂质”这件事做对了，接检索增强时相当省心；异步 + 浏览器池的性能也不错，小规模到大规模都能用。Docker 镜像开箱即用，MCP 直连 Claude Code 这点对做 Agent 的人尤其香。小提醒：它依赖 Playwright/Chromium，首次部署体积不小；上生产建议走 0.9.0+ 的安全加固 Docker 镜像（已修复路径遍历 / SSRF / RCE）。

    六、下载地址

  • Firecrawl — 134K+ Stars，为 AI Agent 量身打造的网页数据 API，搜索/爬取/交互一体化

    Firecrawl — 134K+ Stars，为 AI Agent 量身打造的网页数据 API，搜索/爬取/交互一体化

    Firecrawl Logo

    🔥 Firecrawl

    The API to search, scrape, and interact with the web at scale

    ⭐ 134K+ Stars
    📦 TypeScript
    📜 AGPL-3.0

    📌 项目简介

    Firecrawl 是专为 AI Agent 设计的网页数据 API，能将任意网页（含 JS 渲染）转换成 AI 友好的 Markdown/JSON 格式。它覆盖 96% 的网页，P95 延迟仅 3.4 秒，原生支持 MCP 协议，是 AI 应用获取实时网页数据的首选基础设施。

    ⚙️ 安装要求和过程

    环境要求

    Python
    3.8+ (SDK 支持)
    Node.js
    16+ (SDK 支持)
    API Key
    firecrawl.dev 注册
    自托管
    Docker / Redis / Playwright

    快速安装（Python SDK）

    # 安装 Python SDK
pip install firecrawl-py

# 基础使用示例
from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

# 搜索网页
result = app.search("Firecrawl tutorial", limit=5)

# 爬取单个 URL
result = app.scrape('https://example.com', formats=["markdown"])
print(result.markdown)

    快速安装（Node.js SDK）

    # 安装 Node.js SDK
npm install firecrawl

# 基础使用示例
import { Firecrawl } from 'firecrawl';

const app = new Firecrawl({ apiKey: 'fc-YOUR_API_KEY' });

const result = await app.scrape('https://example.com', {
  formats: ['markdown']
});
console.log(result.markdown);

    MCP 集成（AI Agent 一键接入）

    # 一键安装 MCP Skill（支持 Claude Code、OpenClaw 等）
npx -y firecrawl-cli@latest init --all --browser

# 或手动配置 MCP 客户端
{
  "mcpServers": {
    "firecrawl-mcp": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "fc-YOUR_API_KEY"
      }
    }
  }
}

    自托管部署（Docker）

    # 克隆仓库
git clone https://github.com/firecrawl/firecrawl.git
cd firecrawl

# 启动自托管服务（需要 Docker、Redis、Playwright）
docker-compose up -d

# 访问本地服务
# API: http://localhost:3002
# Playground: http://localhost:3002/playground

    ⚡ 核心功能

    🔍 Search（智能搜索）

    全网搜索并返回结果页的完整 Markdown 内容，不再只是返回标题和 URL。支持关键词搜索、URL 搜索、智能过滤，返回结果可直接供 AI Agent 使用，无需二次处理。

    🕷️ Scrape（智能爬取）

    将任意 URL 转换为 Markdown、HTML、截图或结构化 JSON。自动处理 JS 渲染、代理轮换、速率限制、反爬虫策略，覆盖 96% 的网页，P95 延迟仅 3.4 秒。

    🤖 Agent（智能代理）

    无需指定 URL，用自然语言描述需求即可自动完成数据收集。支持结构化输出（Pydantic Schema），可自动提取创始人信息、产品定价、竞品对比等复杂数据，返回类型安全的 Python 对象。

    🗺️ Crawl + Map（全站爬取与 URL 发现）

    Crawl 支持单次请求爬取整个网站的所有页面内容；Map 快速发现网站所有 URL，支持关键词筛选。支持异步批量爬取数千个 URL，适合大规模数据采集场景。

    🖱️ Interact（交互式爬取）

    爬取页面后可执行点击、滚动、输入、等待、按键等交互操作，应对需要登录、搜索、翻页等动态场景。AI 提示驱动，无需编写复杂的选择器代码。

    💡 典型使用场景

    场景一：AI Agent 实时联网搜索

    通过 Firecrawl 的 Search API，AI Agent 可以实时搜索网页并获取完整内容，不再受训练数据时效限制。结合 MCP 协议，Claude Code、OpenClaw 等 AI 工具可以一键调用 Firecrawl 获取最新信息。

    # AI Agent 使用 Firecrawl 搜索最新信息
result = app.search(
    query="2026年 AI 开源项目趋势",
    limit=10,
    scrape_options={"formats": ["markdown"]}
)
# result 包含搜索结果 + 每个结果的完整 Markdown 内容

    场景二：RAG 应用网页数据注入

    RAG（检索增强生成）应用需要大量外部数据，Firecrawl 可以批量爬取指定网站内容并转换为 Markdown，直接注入向量数据库。支持智能等待、JS 渲染、反爬虫绕过，大幅提升 RAG 应用的数据质量。

    # 批量爬取文档网站，用于 RAG
docs = app.crawl(
    url="https://docs.example.com",
    limit=1000,
    scrape_options={"formats": ["markdown", "html"]}
)
# 将 docs 存入向量数据库（如 Milvus、Pinecone）

    场景三：竞品价格监控与数据分析

    使用 Agent API 自动收集竞品定价、功能对比、用户评价等数据，无需手动指定 URL，只需用自然语言描述需求。支持结构化输出，直接返回类型安全的 JSON 数据，可接入自动化分析流程。

    # 使用 Agent 自动收集竞品定价
result = app.agent(
    prompt="Compare pricing of Firecrawl, ScrapingBee, and Apify",
    schema=PricingComparisonSchema
)
print(result.data)  # 结构化 JSON 输出

    ❤️ 推荐理由

    在 AI Agent 和 RAG 应用爆发式增长的今天，如何获取实时、高质量的网页数据成为了一个核心痛点。传统爬虫工具要么太底层（需要自己处理代理、JS 渲染、反爬虫），要么不够 AI 友好（返回脏 HTML，需要额外清洗）。

    Firecrawl 完美解决了这个问题：

    • 🌟 AI 原生设计：输出直接是 Markdown/JSON，无需额外清洗，降低 token 消耗
    • 🌟 高可靠性：覆盖 96% 的网页，自动处理 JS 渲染、代理轮换、速率限制
    • 🌟 高速度：百万级页面爬取 P95 延迟仅 3.4 秒，适合实时 AI 应用
    • 🌟 MCP 原生支持：一键接入主流 AI Agent 工具，无需复杂配置
    • 🌟 多语言 SDK：Python、Node.js、Java、Rust、Elixir 全覆盖
    • 🌟 开源可自托管：AGPL-3.0 许可，数据隐私完全自主可控

    💡 个人使用心得：Firecrawl 已成为我构建 AI Agent 的标配工具。以前需要组合使用 requests + BeautifulSoup + Playwright + 代理池才能完成的任务，现在一行代码就能解决。特别是它的 Agent API，用自然语言描述需求即可自动收集数据，大大降低了数据采集的门槛。如果你正在构建需要实时网页数据的 AI 应用，Firecrawl 绝对值得一试！

    📊 项目数据

    ⭐
    134K+
    GitHub Stars

    🍴
    7.8K+
    Forks

    👥
    375+
    Contributors

    📦
    5+
    官方 SDK

    📥 下载地址

    支持 Python、Node.js、Java、Rust、Elixir 等多语言 SDK • 开源 AGPL-3.0 许可 • 支持自托管部署

  • 【开源推荐】crawl4ai：68.3K+ Stars！专为LLM设计的网页爬虫，让AI直接读懂网页内容

    【开源推荐】crawl4ai：68.3K+ Stars！专为LLM设计的网页爬虫，让AI直接读懂网页内容

    crawl4ai - LLM友好网页爬虫工具

    crawl4ai – 专为LLM和AI Agent设计的网页爬虫工具 @reference_1@

    📌 项目简介

    crawl4ai 是一款专为LLM和AI Agent设计的开源网页爬虫工具，能将任意网页内容转换为干净的Markdown格式，可直接用于RAG、AI Agent、数据管道等场景，无需依赖任何付费API。

    68.3K+
    GitHub Stars

    Python
    开发语言

    v0.6+
    最新版本

    ⚙️
    安装要求和过程

    环境要求

    • Python ≥ 3.10
    • Playwright（用于异步浏览器控制）
    • 支持 Windows / macOS / Linux

    快速安装（4步搞定）

    # 第1步：安装 crawl4ai
    pip install -U crawl4ai
    # 第2步：配置浏览器依赖
    crawl4ai-setup
    # 第3步：验证安装
    crawl4ai-doctor
    # （可选）如 Playwright 报错，手动安装浏览器
    python -m playwright install chromium

    Docker 部署（生产推荐）

    # 拉取官方镜像
    docker pull unclecode/crawl4ai:latest
    # 启动容器
    docker run -d -p 11235:11235 –name crawl4ai –shm-size=1g unclecode/crawl4ai:latest
    # 访问监控面板
    http://localhost:11235/dashboard

    ⚡
    核心功能

    ① 智能 Markdown 生成

    生成结构清晰、格式准确的干净 Markdown，支持 Fit Markdown 启发式过滤，自动剔除无关噪音内容。支持 BM25 算法过滤，可提取核心信息，更适合 AI 处理。

    ② LLM 驱动的结构化数据提取

    支持所有 LLM（开源/闭源）驱动的结构化数据提取。内置多种分块策略，支持基于用户查询的语义内容匹配，可通过自定义 Schema 从重复页面模式中批量提取结构化 JSON。

    ③ 浏览器深度集成

    支持托管用户自有浏览器，通过 Chrome DevTools 协议实现远程浏览器控制。支持浏览器配置文件持久化（保存认证状态、Cookie），完美支持需要登录的网站爬取。

    ④ 动态页面与反爬对抗

    支持执行 JavaScript、等待异步动态内容加载、处理无限滚动页面。提供隐身模式模拟真实用户行为，支持自定义请求头、Cookie、User-Agent 和代理认证，有效绕过常见反爬限制。

    ⑤ Docker 一键部署 + API 服务

    提供优化后的 Docker 镜像，内置 FastAPI 服务，开箱即用。内置 JWT 令牌认证保障 API 安全，支持大规模生产环境部署，是构建数据采集基础设施的最佳选择。

    💡
    典型使用场景

    场景1：RAG 知识库数据准备

    将网页内容转换为干净 Markdown，作为 RAG 系统的知识库来源。crawl4ai 的 Fit Markdown 功能可自动过滤导航栏、广告、页脚等噪音，只保留核心正文，避免无关内容干扰大模型输出。配合深度爬取（BFS/DFS策略）可批量采集整个网站。

    场景2：AI Agent 实时信息获取工具

    将 crawl4ai 封装为 AI Agent 的工具函数，让 Agent 能够自主爬取所需网页内容。比如用户问”今天有哪些 AI 新闻？”，Agent 可自动爬取新闻网站并提取结构化信息，真正实现 AI 联网能力。

    场景3：大规模数据采集管道

    结合 Docker 部署、浏览器池、缓存机制，搭建大规模高并发网页数据采集系统。内置的浏览器配置文件持久化能力，可保存登录状态实现需要认证的网站批量采集，适合构建企业级数据采集基础设施。

    🚀 30秒快速开始

    Python 代码方式：
    import asyncio
    from crawl4ai import *

    async def main():
    async with AsyncWebCrawler() as crawler:
    result = await crawler.arun(url=”https://example.com”)
    print(result.markdown) # 获取干净 Markdown

    if __name__ == “__main__”:
    asyncio.run(main())

    CLI 命令行方式：
    crwl https://example.com -o markdown
    # 深度爬取，最多10个页面
    crwl https://docs.crawl4ai.com –deep-crawl bfs –max-pages 10

    💝
    推荐理由

    如果你正在构建 RAG 系统或 AI Agent，crawl4ai 是目前开源界最值得关注的网页数据采集工具。它解决了传统爬虫的两个核心痛点：

    第一，真正为 LLM 优化。 传统爬虫输出的是原始 HTML 或杂乱文本，需要大量后处理才能喂给大模型。crawl4ai 直接输出干净、结构化的 Markdown，内置的 Fit Markdown 功能可以智能过滤导航、广告等噪音，让 RAG 召回质量大幅提升。

    第二，对动态页面和反爬场景的支持非常完善。 基于 Playwright 的浏览器控制，可以处理 React/Vue 等前端框架渲染的页面，支持等待异步内容加载、处理无限滚动。隐身模式和浏览器指纹自定义功能，让我在采集一些有反爬机制的网站时也能稳定获取数据。

    最让我惊喜的是它的 Docker 部署方案。 几分钟就能搭建一个带 API 服务的爬取引擎，内置 JWT 认证，可以直接集成到现有数据管道中。对于需要大规模采集的场景，这比手写 Scrapy 爬虫效率高太多了。

    ⭐ 总之，如果你需要为 AI 应用添加网页数据获取能力，crawl4ai 是目前最成熟的开源选择，没有之一。

    📥 下载地址

    License: Apache 2.0 | 作者: UncleCode | 最近更新: 2026年6月

    💡 关注【开源推荐】系列，每周带你发现最值得关注的 AI 开源项目
    ⭐ 如果这篇文章对你有帮助，欢迎在 WordPress 点赞留言！