Firecrawl 是一个面向 AI 的开源网页数据 API——把”搜索、抓取、与网页交互”封装成一套可靠的服务，自动把任意网页转换成干净的 Markdown 或结构化 JSON，让大模型和智能体直接可用。
一、项目简介
一句话：Firecrawl 是”为 AI 而生的 Web 数据 API”。它覆盖 96% 的网页（含 JS 重度页面），P95 延迟仅 3.4s，把你从反爬、代理轮换、JS 渲染等脏活中彻底解放出来，专注业务本身。
二、安装要求和过程
环境要求
- 一门开发语言运行时：Python 3.8+ 或 Node.js 18+
- 一个 Firecrawl API Key（在 firecrawl.dev 免费注册即可获取，含免费额度）
- 自托管可选：Docker + Docker Compose、Redis、用于渲染的 Playwright Key
快速安装
Python：
pip install firecrawl-pyNode.js：
npm install firecrawlCLI（一行给 Agent 装好 Skill + 浏览器能力）：
npx -y firecrawl-cli@latest init --all --browser配置密钥后，三行代码即可抓取：
from firecrawl import Firecrawl
app = Firecrawl(api_key="fc-YOUR_API_KEY")
doc = app.scrape("https://firecrawl.dev", formats=["markdown"])
print(doc.markdown)自托管（数据完全自控）：
git clone https://github.com/firecrawl/firecrawl
cd firecrawl && cp .env.example .env # 填入 REDIS_URL、PLAYWRIGHT_KEY 等
docker compose up -d三、核心功能
- 一体化 Web API：Search / Scrape / Crawl / Map / Batch Scrape / Agent / Interact 七大端点，覆盖”找源 → 取内容 → 结构化”全链路。
- LLM 就绪输出：自动输出干净 Markdown、带 Schema 的结构化 JSON、截图，省 token、少噪音。
- 工业级可靠性：覆盖 96% 网页（含 JS 重度页面），P95 延迟 3.4s，自动处理反爬、代理轮换、限速与 JS 拦截。
- Interact 交互式抓取：抓下页面后用 AI 提示词或代码”点击 / 滚动 / 输入 / 等待”，轻松拿下动态页面。
- Agent 自治 + MCP/Skill 一行接入：用自然语言描述需求即可自动收集数据；一条命令接入 Claude Code、Cursor 等任意 MCP 客户端。
四、典型使用场景
- RAG 知识库构建：批量 Crawl 文档站转 Markdown，直接灌入向量库，告别手写爬虫。
- AI 智能体联网：通过 MCP 让 Claude Code / Cursor 等 Agent 实时检索并读取网页，回答才有”活水”。
- 竞品与市场研究：用 Agent 端点一句话拿到结构化竞品定价、功能对比，无需提前知道 URL。
五、推荐理由
做过 RAG 或 AI Agent 的人都懂：自己写爬虫要处理反爬、JS 渲染、代理池、限速……Firecrawl 把这些脏活全包了，输出直接是干净 Markdown，省下大量 token 和调试时间。免费额度对个人项目足够，MCP 接入极简，AGPL-3.0 协议还能自托管把数据攥在自己手里。如果你的应用”需要联网”，它几乎是第一选择。
六、下载地址
- 🌐 官网 / 注册 API Key：https://firecrawl.dev
- 📦 GitHub 仓库：https://github.com/firecrawl/firecrawl
- 📚 官方文档：https://docs.firecrawl.dev
- 🐍 Python SDK：
pip install firecrawl-py - 📦 Node SDK：
npm install firecrawl
