标签: 网络爬虫

  • Agent-Reach:给AI Agent装上「全网眼睛」,30K+ Stars的免费互联网接入神器

    Agent-Reach:给AI Agent装上「全网眼睛」,30K+ Stars的免费互联网接入神器

    Agent-Reach - 给AI Agent装上全网眼睛

    项目简介

    Agent-Reach 是一个为 AI 智能体(AI Agent)提供全网内容读取与搜索能力的开源工具。它让 AI Agent 能够一键读取 Twitter、Reddit、YouTube、B站、小红书、GitHub 等 15+ 平台的内容——完全免费、无需付费 API,只需一行命令安装。

    项目目前拥有 30K+ GitHub Stars,是当前 AI Agent 基础设施领域最热门的项目之一。由开发者 Panniantong 开发并持续维护,采用 MIT 开源协议。

    为什么需要 Agent Reach?

    AI Agent 已经能帮你写代码、改文档、管项目——但你让它去网上找点东西,它就抓瞎了:

    • 📺 让 AI 看 YouTube 教程 → 拿不到字幕
    • 🐦 让 AI 搜推特产品评价 → Twitter API 要付费
    • 📖 让 AI 去 Reddit 找同类 bug → 返回 403
    • 📕 让 AI 看小红书商品口碑 → 必须登录才能打开
    • 📺 让 AI 总结 B 站技术视频 → 被风控拦截
    • 🔍 让 AI 搜索最新 LLM 框架对比 → 没有好用的免费工具

    安装要求与环境配置

    环境要求 说明
    Python 版本 Python 3.10 及以上
    操作系统 macOS / Linux / Windows 全平台支持
    兼容 Agent Claude Code、OpenClaw、Cursor、Windsurf、Codex 等所有能执行命令的 Agent
    网络代理 本地电脑不需要;服务器部署可能需要(~$1/月)

    快速安装步骤

    方法一:一键安装(推荐)
    # 复制这句话给你的 AI Agent:
    帮我安装 Agent Reach:https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md
    
    # 或手动执行:
    pip install agent-reach
    agent-reach install --env=auto
    方法二:安全模式(生产环境推荐)
    pip install agent-reach
    agent-reach install --env=auto --safe

    安装完成后,运行诊断命令查看各渠道状态:

    agent-reach doctor

    核心功能

    🌐 网页阅读

    基于 Jina Reader 免费读取任意网页内容,自动清洗 HTML 标签,输出干净文本。无需 API Key。

    🐦 Twitter/X 读取

    通过 Cookie 认证免费读取和搜索推文,支持单条推文、时间线浏览、长文阅读。无需 Twitter API 付费。

    📺 YouTube 字幕提取

    基于 yt-dlp(154K Stars)提取视频字幕和元数据,支持多语言,无需 API Key。

    📺 B站搜索与阅读

    使用 bili-cli 无需登录即可搜索视频、获取详情。支持字幕提取(需 OpenCLI 配置)。

    🔍 全网语义搜索

    集成 Exa AI 语义搜索引擎(MCP 接入),支持自然语言查询,免费无需 Key。

    完整平台支持列表

    平台 零配置功能 配置后解锁
    🌐 网页 阅读任意网页
    📺 YouTube 字幕 + 搜索
    📡 RSS 解析任意源
    📦 GitHub 公开仓库 + 搜索 私有仓库 / Issue / PR
    🐦 Twitter/X 读单条推文 搜索 / 时间线 / 长文
    📖 Reddit 搜索 + 读帖子和评论
    📕 小红书 搜索 / 阅读 / 评论
    💼 LinkedIn Jina Reader 公开页 Profile / 公司页面
    💻 V2EX 热门帖子 + 详情
    📈 雪球 行情 + 搜索 + 热榜 高级数据

    典型使用场景

    🎯 场景一:AI 产品调研助手

    让 AI Agent 同时搜索 Twitter 用户对竞品的真实评价、Reddit 上的讨论帖、YouTube 上的评测视频,再汇总成调研报告。以前需要人工切换多个平台的操作,现在一句话搞定:

    "帮我调研一下 Cursor vs Windsurf 的用户反馈,
    搜一下 Twitter 和 Reddit 上的讨论"

    🎯 场景二:技术视频学习加速器

    把 YouTube/B站的技术教程链接丢给 Agent,它会自动提取字幕、总结要点、生成笔记。再也不用花 2 小时看完一个视频才知道讲的是什么:

    "总结一下这个 YouTube 视频的核心内容:
    https://youtube.com/watch?v=xxx"

    🎯 场景三:全网信息监控与聚合

    设置定时任务让 Agent 监控特定关键词在 Twitter、Reddit、V2EX 等平台的最新动态,汇总后推送给你。特别适合追踪技术趋势、竞品动态或舆情监测:

    "每天早上搜一下 RAG 相关的最新讨论,
    看看 Twitter 和 Reddit 上有什么新进展"

    推荐理由

    💡 个人使用心得:

    作为一个每天和各种 AI Agent 打交道的人,Agent-Reach 解决了我最大的痛点——Agent 的「互联网盲区」。以前让 Claude Code 去查个资料,它只能靠内置知识或者我手动复制粘贴;现在装上 Agent-Reach 后,它能自己去看 Twitter 讨论、读 Reddit 帖子、甚至总结 YouTube 视频内容。

    最让我印象深刻的是它的「能力层」设计理念:它不自己造轮子,而是帮你在底层选好、装好、配好各个平台的最佳开源工具(twitter-cli、bili-cli、OpenCLI 等)。而且当某个工具失效时(比如 yt-dlp 被 B 站风控封了),它会自动切换备选方案,用户几乎无感。

    另一个亮点是 `agent-reach doctor`——一条命令告诉你每个渠道通不通、走的是哪个后端、怎么修。这种「体检」设计在开源工具里非常少见。

    如果你正在使用 Claude Code、Cursor 或任何 AI 编程助手,强烈建议试试 Agent-Reach。它会让你的 Agent 从「只能写代码的程序员」进化为「能联网调研的全栈工程师」。

    技术架构亮点

    • 多后端路由机制:每个平台维护「首选 + 备选」有序后端列表,某条路失效自动切下一条
    • 零包装层设计:Agent 直接调用上游工具,没有中间封装层,性能损耗最小化
    • SKILL.md 注册制:安装后在 Agent skills 目录注册使用指南,Agent 自动知道该调什么
    • 安全优先:Cookie 仅存本地(权限 600)、支持安全模式和 Dry Run、代码完全可审计
    • 跨平台兼容:macOS / Linux / Windows 全平台支持,兼容所有主流 AI Agent

    下载地址

    GitHub 仓库 github.com/Panniantong/Agent-Reach
    PyPI 安装 pip install agent-reach
    开源协议 MIT License
    Star 数量 ⭐ 30K+ Stars