YOHO AI

标签： Firecrawl

  • 🔥 Firecrawl：为 AI 智能体而生的网页抓取与搜索 API（152.7K Stars）

    🔥 Firecrawl：为 AI 智能体而生的网页抓取与搜索 API（152.7K Stars）

    Firecrawl

    Firecrawl 是一个面向 AI 的开源网页数据 API——把”搜索、抓取、与网页交互”封装成一套可靠的服务，自动把任意网页转换成干净的 Markdown 或结构化 JSON，让大模型和智能体直接可用。

    一、项目简介

    一句话：Firecrawl 是”为 AI 而生的 Web 数据 API”。它覆盖 96% 的网页（含 JS 重度页面），P95 延迟仅 3.4s，把你从反爬、代理轮换、JS 渲染等脏活中彻底解放出来，专注业务本身。

    二、安装要求和过程

    环境要求

    • 一门开发语言运行时：Python 3.8+ 或 Node.js 18+
    • 一个 Firecrawl API Key（在 firecrawl.dev 免费注册即可获取，含免费额度）
    • 自托管可选：Docker + Docker Compose、Redis、用于渲染的 Playwright Key

    快速安装

    Python：

    pip install firecrawl-py

    Node.js：

    npm install firecrawl

    CLI（一行给 Agent 装好 Skill + 浏览器能力）：

    npx -y firecrawl-cli@latest init --all --browser

    配置密钥后，三行代码即可抓取：

    from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")
doc = app.scrape("https://firecrawl.dev", formats=["markdown"])
print(doc.markdown)

    自托管（数据完全自控）：

    git clone https://github.com/firecrawl/firecrawl
cd firecrawl && cp .env.example .env   # 填入 REDIS_URL、PLAYWRIGHT_KEY 等
docker compose up -d

    三、核心功能

    • 一体化 Web API：Search / Scrape / Crawl / Map / Batch Scrape / Agent / Interact 七大端点，覆盖”找源 → 取内容 → 结构化”全链路。
    • LLM 就绪输出：自动输出干净 Markdown、带 Schema 的结构化 JSON、截图，省 token、少噪音。
    • 工业级可靠性：覆盖 96% 网页（含 JS 重度页面），P95 延迟 3.4s，自动处理反爬、代理轮换、限速与 JS 拦截。
    • Interact 交互式抓取：抓下页面后用 AI 提示词或代码”点击 / 滚动 / 输入 / 等待”，轻松拿下动态页面。
    • Agent 自治 + MCP/Skill 一行接入：用自然语言描述需求即可自动收集数据；一条命令接入 Claude Code、Cursor 等任意 MCP 客户端。

    四、典型使用场景

    • RAG 知识库构建：批量 Crawl 文档站转 Markdown，直接灌入向量库，告别手写爬虫。
    • AI 智能体联网：通过 MCP 让 Claude Code / Cursor 等 Agent 实时检索并读取网页，回答才有”活水”。
    • 竞品与市场研究：用 Agent 端点一句话拿到结构化竞品定价、功能对比，无需提前知道 URL。

    五、推荐理由

    做过 RAG 或 AI Agent 的人都懂：自己写爬虫要处理反爬、JS 渲染、代理池、限速……Firecrawl 把这些脏活全包了，输出直接是干净 Markdown，省下大量 token 和调试时间。免费额度对个人项目足够，MCP 接入极简，AGPL-3.0 协议还能自托管把数据攥在自己手里。如果你的应用”需要联网”，它几乎是第一选择。

    六、下载地址

  • Firecrawl — 134K+ Stars，为 AI Agent 量身打造的网页数据 API，搜索/爬取/交互一体化

    Firecrawl — 134K+ Stars，为 AI Agent 量身打造的网页数据 API，搜索/爬取/交互一体化

    Firecrawl Logo

    🔥 Firecrawl

    The API to search, scrape, and interact with the web at scale

    ⭐ 134K+ Stars
    📦 TypeScript
    📜 AGPL-3.0

    📌 项目简介

    Firecrawl 是专为 AI Agent 设计的网页数据 API，能将任意网页（含 JS 渲染）转换成 AI 友好的 Markdown/JSON 格式。它覆盖 96% 的网页，P95 延迟仅 3.4 秒，原生支持 MCP 协议，是 AI 应用获取实时网页数据的首选基础设施。

    ⚙️ 安装要求和过程

    环境要求

    Python
    3.8+ (SDK 支持)
    Node.js
    16+ (SDK 支持)
    API Key
    firecrawl.dev 注册
    自托管
    Docker / Redis / Playwright

    快速安装（Python SDK）

    # 安装 Python SDK
pip install firecrawl-py

# 基础使用示例
from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

# 搜索网页
result = app.search("Firecrawl tutorial", limit=5)

# 爬取单个 URL
result = app.scrape('https://example.com', formats=["markdown"])
print(result.markdown)

    快速安装（Node.js SDK）

    # 安装 Node.js SDK
npm install firecrawl

# 基础使用示例
import { Firecrawl } from 'firecrawl';

const app = new Firecrawl({ apiKey: 'fc-YOUR_API_KEY' });

const result = await app.scrape('https://example.com', {
  formats: ['markdown']
});
console.log(result.markdown);

    MCP 集成（AI Agent 一键接入）

    # 一键安装 MCP Skill（支持 Claude Code、OpenClaw 等）
npx -y firecrawl-cli@latest init --all --browser

# 或手动配置 MCP 客户端
{
  "mcpServers": {
    "firecrawl-mcp": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "fc-YOUR_API_KEY"
      }
    }
  }
}

    自托管部署（Docker）

    # 克隆仓库
git clone https://github.com/firecrawl/firecrawl.git
cd firecrawl

# 启动自托管服务（需要 Docker、Redis、Playwright）
docker-compose up -d

# 访问本地服务
# API: http://localhost:3002
# Playground: http://localhost:3002/playground

    ⚡ 核心功能

    🔍 Search（智能搜索）

    全网搜索并返回结果页的完整 Markdown 内容，不再只是返回标题和 URL。支持关键词搜索、URL 搜索、智能过滤，返回结果可直接供 AI Agent 使用，无需二次处理。

    🕷️ Scrape（智能爬取）

    将任意 URL 转换为 Markdown、HTML、截图或结构化 JSON。自动处理 JS 渲染、代理轮换、速率限制、反爬虫策略，覆盖 96% 的网页，P95 延迟仅 3.4 秒。

    🤖 Agent（智能代理）

    无需指定 URL，用自然语言描述需求即可自动完成数据收集。支持结构化输出（Pydantic Schema），可自动提取创始人信息、产品定价、竞品对比等复杂数据，返回类型安全的 Python 对象。

    🗺️ Crawl + Map（全站爬取与 URL 发现）

    Crawl 支持单次请求爬取整个网站的所有页面内容；Map 快速发现网站所有 URL，支持关键词筛选。支持异步批量爬取数千个 URL，适合大规模数据采集场景。

    🖱️ Interact（交互式爬取）

    爬取页面后可执行点击、滚动、输入、等待、按键等交互操作，应对需要登录、搜索、翻页等动态场景。AI 提示驱动，无需编写复杂的选择器代码。

    💡 典型使用场景

    场景一：AI Agent 实时联网搜索

    通过 Firecrawl 的 Search API，AI Agent 可以实时搜索网页并获取完整内容，不再受训练数据时效限制。结合 MCP 协议，Claude Code、OpenClaw 等 AI 工具可以一键调用 Firecrawl 获取最新信息。

    # AI Agent 使用 Firecrawl 搜索最新信息
result = app.search(
    query="2026年 AI 开源项目趋势",
    limit=10,
    scrape_options={"formats": ["markdown"]}
)
# result 包含搜索结果 + 每个结果的完整 Markdown 内容

    场景二：RAG 应用网页数据注入

    RAG（检索增强生成）应用需要大量外部数据，Firecrawl 可以批量爬取指定网站内容并转换为 Markdown，直接注入向量数据库。支持智能等待、JS 渲染、反爬虫绕过，大幅提升 RAG 应用的数据质量。

    # 批量爬取文档网站，用于 RAG
docs = app.crawl(
    url="https://docs.example.com",
    limit=1000,
    scrape_options={"formats": ["markdown", "html"]}
)
# 将 docs 存入向量数据库（如 Milvus、Pinecone）

    场景三：竞品价格监控与数据分析

    使用 Agent API 自动收集竞品定价、功能对比、用户评价等数据，无需手动指定 URL，只需用自然语言描述需求。支持结构化输出，直接返回类型安全的 JSON 数据，可接入自动化分析流程。

    # 使用 Agent 自动收集竞品定价
result = app.agent(
    prompt="Compare pricing of Firecrawl, ScrapingBee, and Apify",
    schema=PricingComparisonSchema
)
print(result.data)  # 结构化 JSON 输出

    ❤️ 推荐理由

    在 AI Agent 和 RAG 应用爆发式增长的今天，如何获取实时、高质量的网页数据成为了一个核心痛点。传统爬虫工具要么太底层（需要自己处理代理、JS 渲染、反爬虫），要么不够 AI 友好（返回脏 HTML，需要额外清洗）。

    Firecrawl 完美解决了这个问题：

    • 🌟 AI 原生设计：输出直接是 Markdown/JSON，无需额外清洗，降低 token 消耗
    • 🌟 高可靠性：覆盖 96% 的网页，自动处理 JS 渲染、代理轮换、速率限制
    • 🌟 高速度：百万级页面爬取 P95 延迟仅 3.4 秒，适合实时 AI 应用
    • 🌟 MCP 原生支持：一键接入主流 AI Agent 工具，无需复杂配置
    • 🌟 多语言 SDK：Python、Node.js、Java、Rust、Elixir 全覆盖
    • 🌟 开源可自托管：AGPL-3.0 许可，数据隐私完全自主可控

    💡 个人使用心得：Firecrawl 已成为我构建 AI Agent 的标配工具。以前需要组合使用 requests + BeautifulSoup + Playwright + 代理池才能完成的任务，现在一行代码就能解决。特别是它的 Agent API，用自然语言描述需求即可自动收集数据，大大降低了数据采集的门槛。如果你正在构建需要实时网页数据的 AI 应用，Firecrawl 绝对值得一试！

    📊 项目数据

    ⭐
    134K+
    GitHub Stars

    🍴
    7.8K+
    Forks

    👥
    375+
    Contributors

    📦
    5+
    官方 SDK

    📥 下载地址

    支持 Python、Node.js、Java、Rust、Elixir 等多语言 SDK • 开源 AGPL-3.0 许可 • 支持自托管部署