标签: GitHub

  • Firecrawl:120k Stars!让AI轻松抓取任意网页的利器

    Firecrawl - Web数据API for AI

    你有没有遇到过这种情况:想用AI分析某个网站的内容,结果发现爬虫根本抓不到数据,要么是JavaScript渲染的SPA页面,要么就是被反爬虫拦住了?

    我之前做竞品调研的时候,就经常被这个问题困扰。传统爬虫要么需要配置代理,要么需要手动处理各种反爬机制,光是数据清洗就占了大半天时间。

    直到我发现了 Firecrawl —— 这是一个专门为AI时代打造的网页数据抓取工具,它可以轻松把任何网站转换成LLM-ready的格式。


    🚀 项目简介

    Firecrawl 是一款开源的 Web 数据抓取 API,能够将任何网站转换为干净的 Markdown 或结构化数据,特别适合 AI Agent 和 LLM 应用使用。项目已获得 120k+ GitHub Stars,被 Apple、Shopify、Canva、Replit 等知名企业信赖使用。


    ⚙️ 安装要求和过程

    📋 环境要求

    • Python 3.8+ / Node.js 18+ / Go / Rust / Java
    • Docker(可选,用于本地部署)
    • API Key(可从 firecrawl.dev 免费获取)

    🚀 快速安装

    通过 pip 安装 Python SDK:

    pip install firecrawl-py

    或者使用 npm:

    npm install firecrawl-py

    Docker 本地部署:

    docker pull mendableai/firecrawl
    docker run -p 3002:3002 mendableai/firecrawl

    💡 核心功能

    • 🔍 智能搜索:输入关键词,直接返回包含完整内容的搜索结果,无需二次抓取
    • 📄 专业抓取:将任意网页转换为干净的 Markdown、JSON 或 HTML,自动处理 JavaScript 渲染
    • 🗺️ 站点映射:生成网站结构地图,快速了解站点架构
    • 🔗 智能爬取:从起始 URL 自动追踪链接,爬取整个站点,支持深度限制
    • 💬 页面交互:支持点击、滚动、输入、截图等操作,可与页面动态交互

    📦 典型使用场景

    🔬 场景1:AI 研究助手

    让 AI 代理自动搜索和抓取最新论文、新闻、行业报告,汇总成结构化的研究报告。

    📊 场景2:竞品情报监控

    自动监控竞品官网、定价页面、产品更新,抓取关键信息用于市场分析和决策支持。

    🤖 场景3:RAG 应用数据源

    为 RAG(检索增强生成)应用提供实时、准确的网页数据源,提升 AI 回答的质量。


    ⭐ 推荐理由

    说实话,用了 Firecrawl 之后,我做竞品调研的效率至少提升了三倍。以前需要花半天时间手动抓取和清洗的数据,现在几行代码就能搞定。

    最让我惊喜的是它的 JavaScript 渲染能力 —— 以前那些用 React/Vue 写的 SPA 页面,传统爬虫根本拿它没办法,现在只要一个 API 调用就能搞定。而且输出格式非常干净,几乎不需要额外清洗。

    配合 MCP 服务器使用效果更佳,可以直接在 Cursor、Claude 这些 AI 工具里调用 Firecrawl,真正实现”让 AI 替你上网搜资料”。


    📧 下载地址

  • Open WebUI:127k Stars!为Ollama打造的终极Web界面

    Open WebUI Banner

    如果你在用 Ollama 运行本地大模型,肯定知道自带的命令行事先张扬地”反人类”。每次想切换模型、调参数、看历史记录,都要折腾一堆命令行操作。Open WebUI 就是来解决这个问题的——给你一个漂漂亮亮的 Web 界面,把 Ollama 的能力全部释放出来。


    🚀 项目简介

    Open WebUI 是一个功能强大、可高度自定义的自托管 AI 交互界面,GitHub 已获得 127k+ Stars。它最初是 Ollama 的 Web UI,现在已经发展成支持 Ollama、OpenAI API、Claude 等多种后端的通用 AI 界面平台。核心理念是让每个人都能轻松地与本地或云端大模型交互,完全离线运行,数据自主可控。

    Open WebUI 演示界面


    ⚙️ 安装要求

    硬件要求

    • CPU:支持 AVX 指令集的现代处理器
    • 内存:取决于使用的模型(建议 8GB+)
    • 磁盘:10GB+(用于存储应用和数据)

    软件依赖

    • Docker(推荐)
    • 或 Python 3.11+
    • 浏览器(Chrome / Edge / Firefox)

    快速安装(Docker 方式,最简单)

    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

    启动后访问 http://localhost:3000

    快速安装(pip 方式)

    pip install open-webui
    open-webui serve

    启动后访问 http://localhost:8080


    💡 核心功能

    • 🤖 多后端支持:支持 Ollama、OpenAI API、Claude、vLLM 等多种模型后端,一个界面管理所有模型
    • 📚 RAG 知识库:内置 RAG 功能,可以上传文档构建私有知识库,让 AI 基于自有资料回答问题
    • 🧩 插件系统:支持插件扩展,可按需安装功能插件,满足个性化需求
    • 🔧 工具调用:支持 Tool Calling,可以调用外部工具完成复杂任务
    • 📝 上下文管理:智能管理对话上下文,优化长对话体验,支持对话历史管理和标签分类

    📦 典型使用场景

    🎯 场景一:本地 Ollama 模型可视化交互

    安装 Ollama 后拉取任意模型(Llama 3、Qwen、Mistral 等),通过 Open WebUI 的友好界面进行对话、切换模型、调整参数。完全本地运行,隐私无忧。

    🎯 场景二:企业私有知识库问答

    上传公司内部文档到 RAG 系统,构建专属知识库。员工通过对话形式查询制度、文档、数据,AI 精准基于自有资料回答,无需接触外部服务。

    🎯 场景三:团队共享 AI 助手

    部署在内网服务器上,团队成员通过浏览器访问同一个 AI 界面。可以连接多个模型后端,按需切换,适合开发和测试场景。


    ⭐ 推荐理由

    我之前一直用命令行跑 Ollama,每次调模型都要记一堆参数。用上 Open WebUI 之后,体验直接提升了好几个档次。界面简洁好看,功能也很全面,RAG、插件、多后端支持这些都用得上。

    最关键的是完全开源、可以自托管,数据不离开自己的服务器。对于企业用户来说,这个优势很明显——既能用上 AI 能力,又不用担心数据泄露问题。

    如果你在用 Ollama 或者想搭建本地 AI 界面,Open WebUI 绝对值得一试。


    📧 下载地址

  • Vibe Coding:每个人都能写软件的时代来了

    个人软件革命
    AI正在让”个人软件”成为可能(图片来源:The Verge)

    说实话,我最近一直在想一个问题:为什么我们每天都在用那些”勉强能用”的软件?

    你知道我在说什么——那个待办事项app,功能挺全,但就是少了那么一个你想要的小功能;那个笔记工具,同步很稳,但界面丑得让你每次打开都想换一个。以前遇到这种情况,要么忍,要么学编程,要么花钱请人写。现在?AI帮你写。

    David Pierce在The Verge写了篇长文,讲的是”vibe coding”——这个词是Andrej Karpathy(OpenAI创始团队成员)提出来的。意思是,你不需要懂编程,只要你能说清楚想要什么,AI就能帮你把软件写出来。他形容这个状态是”不work才让人惊讶”,而不是”work了才惊讶”。这转折挺大的。

    我试了Claude Code

    我试了一下Claude Code。20分钟,我写出了一个勉强能跑的原型——日历、笔记、任务清单全在一个页面里。当然,后面修bug花了我好几天,但关键是:我真的在”做软件”了,而不是在”提需求”。

    Robin Sloan是个作家,同时也是个技术爱好者。他经营一家橄榄油公司,用AI写了个Ruby脚本,从Shopify和USPS拉数据,自动生成发货标签。他自己也说”写得挺凑合的”,但管用。他还说了句挺戳人的话:”如果我被巴士撞了,这对我的橄榄油公司来说是个问题,因为只有Robin知道怎么跑这个软件。”但只要Robin还在,它就跑得挺好。

    那些只服务于一个人的app

    这篇文章里列举了一堆”个人软件”的例子,看得我直乐:有人写了个命令行工具给幻想棒球球员排名,有人给1990年代的游戏加入可再生能源概念,有人做了个优化Secret Santa分配的工具,还有人搞了个系统在院子里标记狗屎位置(这玩意儿居然真的有人需要!)。

    这些app的”可寻址市场”精确到一个人,收入潜力精确为零美元。但这就是”个人软件”的真谛——它不一定是要卖给别人的,它就是为你自己量身定做的。


    为什么现在才行?

    说实话,以前不是没人想过让普通人写软件。IFTTT、Apple Shortcuts,这些工具都试过,但问题在于:如果你要用”如果-那么”语句来思考,大多数人就已经放弃了。

    大语言模型改变的是这个交互方式。你不需要学编程语法,你只需要能用自然语言描述你想要什么。而且,现在的AI不只是”生成代码”,它还能帮你调试、帮你理解报错信息、甚至帮你部署到GitHub和Vercel。

    • Vibe Coding:不需要学编程,用自然语言让AI写软件
    • 个人软件时代:为自己量身定制,不一定非要卖给别人
    • 边缘需求有救了:大厂不做的功能,现在你能自己搞
    • 局限也很明显:没客服、没保障,但对你一个人来说可能够用了

    最后说一句:以后评判一个人”懂不懂技术”,可能不再是他会不会写代码,而是他能不能用AI把自己的需求变成现实。这个门槛,比我想象中低多了。

  • agentmemory:让AI编程代理拥有持久记忆的神器

    agentmemory:让AI编程代理拥有持久记忆的神器

    agentmemory

    说实话,用Claude Code或Cursor写代码时,最头疼的就是每次开新会话都要重新解释项目结构、代码规范和之前的决策。CLAUDE.md写满了又容易过时,这个痛点真的太普遍了。

    直到我发现了agentmemory——这是一个专门为AI编程代理打造的持久记忆系统,能自动记住一切,彻底告别重复解释。


    🎯 项目简介

    agentmemory是GitHub上排名第一的AI编程代理持久记忆工具,基于真实基准测试构建。它能 silently 捕获编程代理的所有操作,将其压缩成可搜索的记忆,在下次会话时自动注入正确的上下文。

    目前狂揽 5.9k+ Stars,今日增长超过1000 Stars,堪称年度黑马项目!


    ⚙️ 安装要求和过程

    快速开始(30秒上手):

    1. 终端1:启动记忆服务器
      npx @agentmemory/agentmemory
    2. 终端2:体验演示
      npx @agentmemory/agentmemory demo
    3. 打开 http://localhost:3113 查看实时记忆构建过程

    👍 Claude Code 用户

    一行命令搞定:

    /plugin marketplace add rohitg00/agentmemory

    /plugin install agentmemory

    👨‍💻 其他代理(Cursor/Cline/Windsurf等)

    在MCP配置中添加:

    {
      "mcpServers": {
        "agentmemory": {
          "command": "npx",
          "args": ["-y", "@agentmemory/mcp"]
        }
      }
    }

    💡 核心功能

    • 🔍 智能检索:BM25 + 向量 + 知识图谱三路混合搜索,R@5准确率达95.2%
    • 💾 4层记忆架构:Working → Episodic → Semantic → Procedural,类比人类记忆的运作方式
    • 📌 自动捕获:12个hooks自动记录所有操作,零手动操作
    • 🔒 隐私优先:API密钥、私有标签在存储前自动剥离
    • 📈 极低成本:年省约170K tokens,年成本仅$10(用本地embeddings可降到$0)

    🖥️ 典型使用场景

    📈 场景1:长期项目维护

    当你要维护一个半年前的项目时,agentmemory能自动回忆:

    • 之前为什么选择这个技术方案
    • 哪些文件被频繁修改及原因
    • 代码规范和架构决策

    👥 场景2:团队协作

    多个开发者使用同一项目,agentmemory支持命名空间隔离的团队记忆,共享知识同时保留个人偏好。

    🔋 场景3:复杂调试

    遇到之前解决过的类似bug?记忆系统能追溯到原始观察,帮你快速定位。


    ⭐ 推荐理由

    用了快一个月了,最直观的感受是:每次开新会话,Claude真的能“想起来”上次在做什么。调试效率提升明显,因为不再需要反复解释项目背景。

    最让我惊喜的是隐私保护——它会自动过滤敏感信息,这点对于企业项目非常重要。

    另外,完全零外部依赖(仅需SQLite),安装和迁移都很轻量。


    📥 下载地址

  • TradingAgents:用多智能体协作做金融交易决策,GitHub 7.3万星

    TradingAgents:用多智能体协作做金融交易决策,GitHub 7.3万星

    TradingAgents架构图

    📋 项目简介

    TradingAgents 是一个多智能体LLM金融交易框架,模拟真实交易公司的运作方式——部署基本面分析师、情绪分析师、技术分析师、交易员和风控团队等多个专业AI智能体,通过协作讨论来评估市场状况并做出交易决策。

    项目目前在GitHub上已获得 73,887 ⭐,本周新增 7,259 颗星,热度持续攀升中!🔥

    🛠️ 安装要求和过程

    环境要求

    • Python 3.10+
    • 至少一个LLM API密钥(OpenAI / Google / Anthropic / DeepSeek / Ollama等均可)
    • Alpha Vantage API密钥(用于获取市场数据,免费注册即可)

    快速安装

    # 克隆仓库
    git clone https://github.com/TauricResearch/TradingAgents.git
    cd TradingAgents
    
    # 创建虚拟环境
    conda create -n tradingagents python=3.13
    conda activate tradingagents
    
    # 安装依赖
    pip install .
    
    # 设置API密钥
    export OPENAI_API_KEY=your_key_here
    export ALPHA_VANTAGE_API_KEY=your_key_here
    
    # 启动交互式CLI
    tradingagents

    🐳 Docker用户:

    cp .env.example .env  # 填入你的API密钥
    docker compose run --rm tradingagents

    如果想用本地模型(Ollama),还可以:

    docker compose --profile ollama run --rm tradingagents-ollama

    ⚡ 核心功能

    1. 🧠 多智能体协作架构:模拟真实交易公司的团队分工,包括基本面分析师、情绪分析师、新闻分析师、技术分析师、看涨/看跌研究员、交易员、风控团队和投资组合经理,共8大角色协同工作。
    2. 🤖 多LLM支持:兼容OpenAI、Google Gemini、Anthropic Claude、xAI Grok、DeepSeek、Qwen、GLM、MiniMax、OpenRouter,还支持Ollama本地部署和Azure OpenAI等企业级方案。
    3. 💾 持久化决策日志:记录历史决策和收益表现,让智能体从过去的经验中学习,越用越聪明。
    4. 🔄 断点续跑:运行中断后可从上次成功步骤恢复,不怕意外崩溃丢失进度。
    5. 📊 交互式CLI:通过命令行界面选择股票代码、日期、LLM模型和研究深度,操作简单直观。

    🎯 典型使用场景

    1. 📈 个人投资研究助手:我平时关注几只科技股,用TradingAgents可以让多个AI分析师从不同角度评估一只股票——基本面、技术面、市场情绪一次性看全,比我自己翻研报效率高太多了。比如分析NVDA,它会自动调用基本面数据、近期新闻、Reddit讨论,然后给出综合判断。
    2. 🏫 金融AI研究实验:项目附带了学术论文(arXiv:2412.20138),如果你在做LLM+金融方向的研究,可以直接基于这个框架做对比实验、消融实验,代码结构清晰,改起来很方便。
    3. 🎓 量化交易学习与实践:想入门量化交易但又不想从零搭建系统的同学,TradingAgents提供了一个完整的端到端框架。从数据获取、多维度分析到交易决策和风控,全流程覆盖,而且支持DeepSeek、Ollama等本地模型,零成本就能跑起来。

    💡 推荐理由

    说实话,我试用过不少AI交易工具,但大部分要么太简单(单模型单任务),要么太黑盒(不知道AI为什么这样决策)。TradingAgents不一样——它的多智能体辩论机制让我印象深刻。看涨研究员和看跌研究员会针对同一只股票展开辩论,最终由交易员综合双方观点做出决策。这种机制比单一模型直接输出”买”或”卖”要透明得多,你清楚地知道决策背后的逻辑。

    另外,对国内用户很友好:支持DeepSeek、Qwen、GLM等国产模型,还区分了国内版和国际版的API密钥,Ollama本地部署也很丝滑。即使没有海外API,照样能用。

    ⚠️ 友情提醒:项目明确标注仅供研究用途,不构成投资建议。股市有风险,AI也有幻觉,千万别直接拿它的输出当交易信号。

    🔗 下载地址