🔥 Firecrawl：为 AI 智能体而生的网页抓取与搜索 API（152.7K Stars）

Firecrawl 是一个面向 AI 的开源网页数据 API——把”搜索、抓取、与网页交互”封装成一套可靠的服务，自动把任意网页转换成干净的 Markdown 或结构化 JSON，让大模型和智能体直接可用。

一、项目简介

一句话：Firecrawl 是”为 AI 而生的 Web 数据 API”。它覆盖 96% 的网页（含 JS 重度页面），P95 延迟仅 3.4s，把你从反爬、代理轮换、JS 渲染等脏活中彻底解放出来，专注业务本身。

二、安装要求和过程

环境要求

• 一门开发语言运行时：Python 3.8+ 或 Node.js 18+
• 一个 Firecrawl API Key（在 firecrawl.dev 免费注册即可获取，含免费额度）
• 自托管可选：Docker + Docker Compose、Redis、用于渲染的 Playwright Key

快速安装

Python：

pip install firecrawl-py

Node.js：

npm install firecrawl

CLI（一行给 Agent 装好 Skill + 浏览器能力）：

npx -y firecrawl-cli@latest init --all --browser

配置密钥后，三行代码即可抓取：

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")
doc = app.scrape("https://firecrawl.dev", formats=["markdown"])
print(doc.markdown)

自托管（数据完全自控）：

git clone https://github.com/firecrawl/firecrawl
cd firecrawl && cp .env.example .env   # 填入 REDIS_URL、PLAYWRIGHT_KEY 等
docker compose up -d

三、核心功能

• 一体化 Web API：Search / Scrape / Crawl / Map / Batch Scrape / Agent / Interact 七大端点，覆盖”找源 → 取内容 → 结构化”全链路。
• LLM 就绪输出：自动输出干净 Markdown、带 Schema 的结构化 JSON、截图，省 token、少噪音。
• 工业级可靠性：覆盖 96% 网页（含 JS 重度页面），P95 延迟 3.4s，自动处理反爬、代理轮换、限速与 JS 拦截。
• Interact 交互式抓取：抓下页面后用 AI 提示词或代码”点击 / 滚动 / 输入 / 等待”，轻松拿下动态页面。
• Agent 自治 + MCP/Skill 一行接入：用自然语言描述需求即可自动收集数据；一条命令接入 Claude Code、Cursor 等任意 MCP 客户端。

四、典型使用场景

• RAG 知识库构建：批量 Crawl 文档站转 Markdown，直接灌入向量库，告别手写爬虫。
• AI 智能体联网：通过 MCP 让 Claude Code / Cursor 等 Agent 实时检索并读取网页，回答才有”活水”。
• 竞品与市场研究：用 Agent 端点一句话拿到结构化竞品定价、功能对比，无需提前知道 URL。

五、推荐理由

做过 RAG 或 AI Agent 的人都懂：自己写爬虫要处理反爬、JS 渲染、代理池、限速……Firecrawl 把这些脏活全包了，输出直接是干净 Markdown，省下大量 token 和调试时间。免费额度对个人项目足够，MCP 接入极简，AGPL-3.0 协议还能自托管把数据攥在自己手里。如果你的应用”需要联网”，它几乎是第一选择。

六、下载地址

• 🌐 官网 / 注册 API Key：https://firecrawl.dev
• 📦 GitHub 仓库：https://github.com/firecrawl/firecrawl
• 📚 官方文档：https://docs.firecrawl.dev
• 🐍 Python SDK：pip install firecrawl-py
• 📦 Node SDK：npm install firecrawl