YOHO AI

标签： 数据分析

  • MediaCrawler：多平台自媒体数据采集工具，54.9K+ Stars 让 Playwright 爬虫变得简单

    MediaCrawler：多平台自媒体数据采集工具，54.9K+ Stars 让 Playwright 爬虫变得简单

    🕷️ MediaCrawler

    多平台自媒体数据采集工具 —— 为 AI 时代提供高质量训练数据

    ⭐ 54,991+ Stars  |  🐍 Python  |  🎭 Playwright  |  📜 MIT License

    📌 项目简介

    MediaCrawler 是一个多平台自媒体数据采集工具，支持小红书、抖音、快手、B站、微博、百度贴吧、知乎共 7 个主流内容平台的公开信息抓取。项目基于 Playwright 浏览器自动化框架实现，无需 JS 逆向，直接利用保存的登录态浏览器上下文通过 JS 表达式获取签名参数，大幅降低了爬虫技术门槛。

    该项目定位为学习爬虫技术、研究浏览器自动化方案的开源教学项目，同时也为 LLM 训练数据收集、内容分析等场景提供了实用工具链。

    Python 3.11+
    Playwright
    7 大平台支持
    WebUI 可视化
    多存储格式
    MIT 许可

    ⚙️ 安装要求与过程

    环境要求

    • Python：推荐 3.11 及以上版本（已支持 Python 3.13）
    • Node.js：≥ 16.0.0（WebUI 前端需要）
    • Chrome 浏览器：推荐 ≥ 144 版本（开启远程调试后可复用登录态）
    • 包管理工具：推荐 uv（速度快、依赖解析准确）

    快速安装（5 分钟上手）

    # 1. 克隆项目
git clone https://github.com/NanmiCoder/MediaCrawler.git
cd MediaCrawler

# 2. 安装 Python 依赖（使用 uv）
uv sync

# 3.（可选）安装 Playwright 浏览器驱动（标准模式需要）
uv run playwright install

# 4.（推荐）配置 Chrome 远程调试
# 在 Chrome 地址栏输入 chrome://inspect/#remote-debugging
# 勾选允许远程调试，确认 Server 运行在 127.0.0.1:9222

    WebUI 可视化界面部署

    # 开发调试模式
# 终端 1：启动后端 API 服务（默认端口 8080）
uv run uvicorn api.main:app --port 8080 --reload

# 终端 2：启动前端开发服务
cd webui
npm install
npm run dev
# 访问 http://localhost:5173/ 即可使用

# 生产部署模式
cd webui
npm install
npm run build
uv run uvicorn api.main:app --port 8080 --reload
# 直接访问 http://localhost:8080

    ✨ 核心功能

    • 7 大平台全覆盖：小红书、抖音、快手、B站、微博、百度贴吧、知乎，功能覆盖度一致
    • 多种爬取模式：支持关键词搜索爬取、指定 ID 爬取帖子/视频、二级评论爬取、指定创作者主页爬取
    • 登录态缓存：基于 Playwright 保存登录态，支持 CDP 模式连接本地 Chrome，复用已有登录态、Cookie 和扩展，降低平台风控风险
    • WebUI 可视化界面：无需命令行，直接在网页配置爬虫参数、查看运行状态、导出数据，大幅降低使用门槛
    • 多存储格式支持：CSV、JSON、JSONL、Excel、SQLite、MySQL 等多种数据存储格式，满足不同 downstream 需求
    • IP 代理池：内置代理池支持，可配置多账号+IP 轮换，降低被封禁风险
    • 评论词云图：自动生成评论词云图，直观展示用户情感倾向和热点话题

    🖼️ 支持平台一览

    📕 小红书

    搜索笔记、指定帖子详情、创作者主页、二级评论

    🎵 抖音

    搜索视频、视频详情、用户信息、评论数据

    🎬 快手

    视频搜索、详情页、用户主页、评论爬取

    📺 B站

    视频搜索、视频详情、UP 主信息、弹幕与评论

    💬 微博

    关键词搜索、博文详情、评论、用户主页

    📝 知乎

    问答搜索、问题详情、回答内容、评论数据

    🙋 百度贴吧

    贴子搜索、贴子详情、回复内容、吧内信息

    🚀 典型使用场景

    场景一：LLM 训练数据收集

    MediaCrawler 可以批量采集各平台公开的文本、图片、评论数据，经过清洗后作为 LLM 的微调或预训练数据。相比手动采集，效率提升 100 倍以上，且支持断点续爬，适合大规模数据采集任务。

    # 爬取小红书关键词搜索结果（用于训练数据分析类 LLM）
uv run main.py --platform xhs --lt qrcode --type search
# 数据自动保存为 JSON/CSV，可直接接入训练 pipeline

    场景二：社交媒体舆情监测

    企业或研究机构可以使用 MediaCrawler 定期采集特定关键词的社交媒体内容，结合 LLM 进行情感分析、热点话题发现和舆情预警。WebUI 界面使得非技术团队也能轻松配置和运行爬取任务。

    # 爬取指定关键词的微博内容
uv run main.py --platform weibo --lt cookie --type search --keywords "AI大模型"

    场景三：内容创作者竞品分析

    自媒体运营者可以用 MediaCrawler 采集同类创作者的高赞内容、评论热词、发布时间规律等，为内容策略优化提供数据支撑。结合评论词云图功能，可以快速把握受众偏好。

    💡 推荐理由

    🌟 个人使用心得：
    MediaCrawler 是我见过的最易上手的社交媒体数据采集项目之一。它巧妙避开了最难的 JS 逆向问题 —— 通过保存登录态浏览器上下文直接执行 JS 获取签名，让爬虫开发从”黑魔法”变成”标准流程”。

    三大亮点：
    ① 零 JS 逆向：基于 Playwright 的登录态复用机制，不需要分析各平台的签名算法
    ② WebUI 降低门槛：可视化界面让非程序员也能使用，是真正”可用”的开源工具
    ③ CDP 模式创新：连接本地 Chrome，复用真实用户的登录态和扩展，大幅降低风控概率

    需要注意的是，项目明确声明仅可用于学习研究，禁止用于商业用途和非法爬虫行为。建议在遵守平台 ToS 和相关法律法规的前提下使用。

    📦 下载地址

    📦 GitHub 仓库
    📖 中文文档


    ⚠️ 注意事项

    🚨 法律与合规提醒：
    ① 本项目仅供学习研究使用，禁止用于商业用途和非法爬虫行为
    ② 因违规使用产生的法律责任由使用者自行承担
    ③ 请遵守各平台的 robots.txt 和服务条款（ToS）
    ④ 建议合理控制爬取频率，避免对目标平台造成过大压力
    ⑤ 不要爬取明确标注”禁止爬取”的私密或付费内容

    📅 数据更新至 2026 年 7 月  |  ⭐ GitHub: NanmiCoder/MediaCrawler

  • WrenAI：开源 GenBI 引擎，让 AI 智能体生成可信的 Text-to-SQL 和仪表盘，15.7K Stars 让数据分析变得简单

    WrenAI：开源 GenBI 引擎，让 AI 智能体生成可信的 Text-to-SQL 和仪表盘，15.7K Stars 让数据分析变得简单

    15.7K+GitHub Stars
    22+数据源支持
    Apache-2.0开源许可

    📊 项目简介

    WrenAI 是一个面向 AI 智能体的开源生成式商业智能（GenBI）引擎，通过开放上下文层实现受管制的 Text-to-SQL，让自然语言问题转化为可信的仪表盘、图表和 SQL，支持 BigQuery、Snowflake、PostgreSQL、ClickHouse、Databricks 等 20+ 数据源。

    传统的 BI 工具需要专业的数据分析技能，而直接使用 LLM 生成 SQL 又常常不可靠——AI 不了解业务逻辑，容易生成错误的结果。WrenAI 的革新之处在于引入了开放上下文层（Open Context Layer）：通过将业务语义、已验证定义、示例、记忆和治理规则以可版本化、可溯源的文件存储，让 AI 智能体能够生成可信的 SQL 和分析结果。

    该项目由 Canner 团队开发维护，采用 Apache-2.0 开源许可，累计 2523+ 次提交，是 GenBI 领域的开创性项目。2026 年，随着 AI Agent 的爆发，WrenAI 已成为 AI 驱动数据分析的首选开源方案。

    ⚙️ 安装要求和过程

    环境要求

    • Python：3.9+（推荐使用 3.10 或更高版本）
    • Node.js：18+（用于 AI 客户端适配脚本安装）
    • 数据源：已部署的 PostgreSQL / BigQuery / Snowflake / ClickHouse 等（或本地 DuckDB）
    • 可选：Vercel 或 Cloudflare Pages 账号（用于仪表盘部署）

    快速安装步骤

    方式一：Python CLI 安装（推荐）

    # 核心版本，内置 DuckDB 引擎
pip install wrenai

# 按需添加数据源扩展和记忆功能
pip install "wrenai[postgres,memory]"

# 国内用户可使用清华 PyPI 镜像加速
pip install wrenai -i https://pypi.tuna.tsinghua.edu.cn/simple

# 若 HuggingFace 模型下载超时，设置镜像
export HF_ENDPOINT=https://hf-mirror.com

    方式二：AI 客户端适配（让 AI 智能体使用 WrenAI）

    # 自动检测当前环境的 AI 客户端（Claude Code、Cursor 等）
npx skills add Canner/WrenAI

    方式三：Docker 部署（完整平台）

    git clone https://github.com/Canner/WrenAI.git
cd WrenAI
docker-compose up -d

    初始化配置

    安装完成后，向 AI 智能体发送指令：

    Use Wren to set up my Postgres database

    智能体会自动执行引导流程，完成数据源连接、项目初始化和首次查询。你还可以发送：

    Enrich my Wren project with the business context in raw/

    让智能体自动提取业务知识，丰富上下文层。

    🌟 核心功能

    🎯 开放上下文层（Open Context Layer）

    这是 WrenAI 的核心创新。业务逻辑（指标定义、枚举值、单位、已验证关联规则等）以可版本化、可溯源的文件存储：语义模型（MDL）、企业定义文件（instructions.md）、历史查询记录。支持 Git 管理，不依赖封闭 UI，可被所有 AI 智能体和团队成员复用。

    🔍 可信 Text-to-SQL

    结合开放上下文层，WrenAI 通过语法感知检索、MDL 规划、预执行验证、结构化错误提示、值分析、评估工具链，大幅提升 SQL 生成的正确性。支持 20+ 数据源，包括云数仓（BigQuery、Snowflake、Databricks）、传统关系型数据库（PostgreSQL、MySQL、SQL Server）和本地文件。

    📊 生成式仪表盘

    可将分析结果一键转换为可交互、支持筛选的浏览器端仪表盘，基于 wren-core-wasm 实现。支持一键部署到用户自己的 Vercel 或 Cloudflare Pages 账号，生成可分享的公开链接。从自然语言提问到团队可访问的仪表盘，全程自动化。

    🤖 AI 智能体原生集成

    提供 Agent SDK（wren-langchain 兼容 LangChain/LangGraph，wren-pydantic 支持其他 Python 技术栈）。支持 MCP 协议，可对接 Claude Code、Cursor、Cline、Codex 等各类 AI 客户端。安装适配脚本后，AI 智能体可调用 WrenAI 的工作流指南和查询能力。

    🔐 受管制执行能力

    支持行级/列级访问控制（RLAC/CLAC）、查询行数限制、审计日志、审批工作流等治理能力。企业可以安全地让 AI 访问敏感数据，确保合规性和可审计性。混合检索的本地 LanceDB 记忆索引可召回历史相似查询，持续提升准确性。

    💡 典型使用场景

    场景一：数据分析师的 AI 助手

    数据分析师小李每天需要处理大量业务方的临时数据查询需求。以前他需要手写 SQL、等待查询、制作图表，耗时耗力。使用 WrenAI 后，业务方可以直接用自然语言提问：“上个月各区域的销售额同比增长了多少？” WrenAI 基于上下文层生成可信的 SQL，自动生成图表，并部署为可分享的仪表盘。小李只需要审核结果，大大提升了工作效率。

    价值：减少 80% 的重复查询工作，业务方自助获取数据洞察，数据分析师专注于高价值分析。

    场景二：企业级 AI Agent 的数据分析能力

    某公司正在构建企业级 AI Agent，需要让 Agent 能够查询公司内部的数据仓库。直接使用 LLM 生成 SQL 的准确率低，且无法复用业务逻辑。通过集成 WrenAI 的 Agent SDK 和 MCP 协议，Agent 可以访问开放上下文层，生成可信的 SQL，并通过受管制执行能力确保数据安全。所有业务逻辑以文件形式存储，支持 Git 版本管理，团队可以持续迭代优化。

    价值：AI Agent 的数据分析能力从”不可靠”变为”可信”，业务逻辑可复用、可版本化、可审计。

    🚀 推荐理由

    为什么推荐 WrenAI？

    1. 解决了 AI + BI 的核心痛点
    LLM 生成 SQL 的最大问题是”不可信”——AI 不了解业务逻辑，容易生成错误的结果。WrenAI 的开放上下文层方案非常优雅：将业务逻辑以文件形式存储，可被所有 AI 智能体和团队成员复用，支持 Git 管理。这比封闭的商业产品更具可持续性。

    2. GenBI 是 AI Agent 应用的新范式
    2026 年，AI Agent 从”聊天”走向”执行”，数据分析是最高频的企业场景之一。WrenAI 不仅是 Text-to-SQL 工具，更是完整的 GenBI 引擎——从自然语言提问到可信 SQL，从分析结果到可分享仪表盘，全流程自动化。这是 BI 工具的范式转变。

    3. 开源 + 企业级能力
    采用 Apache-2.0 许可，可自由修改和部署。同时内置了行级/列级访问控制、审计日志、审批工作流等企业级能力，满足数据安全合规要求。支持 20+ 数据源，无需替换现有数据栈。

    4. AI 智能体原生设计
    不是”给人的工具”，而是”给 AI 的工具”。提供 Agent SDK、MCP 协议支持，可无缝集成到 Claude Code、Cursor、LangChain 等 AI 开发框架。开放上下文层的设计让 AI 智能体能够持续学习和改进。

    小缺点
    目前文档主要用英文，中文社区还在建设中。部分高级功能（如仪表盘部署）需要 Vercel/Cloudflare 账号，对纯本地部署场景略有不便。但核心功能完全可以本地使用，不影响基本使用。

    📥 下载地址

    GitHub 仓库：
    github.com/Canner/WrenAI ⭐ 15.7K+ Stars

    官方网站：
    getwren.ai — 在线体验、文档和社区

    官方文档：
    docs.getwren.ai — 完整使用指南和 API 文档

    快速安装：
    pip install wrenai 或 npx skills add Canner/WrenAI

    Discord 社区：
    discord.gg/5DvshJqG8Z — 与开发团队和社区交流

    WrenAI · GenBI for AI Agents · 让数据分析变得简单、可信、可追溯
    数据与 AI 的桥梁 · Text-to-SQL 的新范式 · 2026 年值得关注的开源项目

  • TimesFM：Google Research 开源时间序列基础预测模型，25.9K Stars 让时序预测变得简单

    TimesFM：Google Research 开源时间序列基础预测模型，25.9K Stars 让时序预测变得简单

    TimesFM：Google Research 开源时间序列基础预测模型，25.9K Stars 让时序预测变得简单

    Google Research Logo
    Google Research 官方博客

    项目简介

    TimesFM（Time Series Foundation Model）是由 Google Research 开发的预训练时间序列基础模型，专门用于时间序列预测任务。不同于传统需要针对每个数据集单独训练的预测模型，TimesFM 作为一个基础模型，经过大规模预训练后可以直接对未见过的时序数据进行零样本（Zero-shot）预测，就像大语言模型（LLM）处理文本一样革命性地简化了时序预测流程。

    该项目已在 Google 多款产品中落地：BigQuery ML（企业级 SQL 时序预测）、Google Sheets（表格预测功能）、Vertex AI Model Garden（Docker 化部署端点），是学术界与工业界共同认可的时序预测新范式。

    安装要求和过程

    环境要求

    • Python：3.9 及以上版本
    • 后端选择：PyTorch 或 Flax/JAX（二选一）
    • 硬件支持：CPU、GPU、TPU、Apple Silicon（M系列芯片）全平台兼容
    • 磁盘空间：模型约 200M 参数，下载后约 800MB

    快速安装步骤

    # 方式一：通过 PyPI 安装（推荐）
# 安装 PyTorch 版本
pip install timesfm[torch]

# 安装 Flax 版本（推理速度更快）
pip install timesfm[flax]

# 需要协变量支持时（引入额外特征辅助预测）
pip install timesfm[xreg]

# 方式二：本地源码安装
git clone https://github.com/google-research/timesfm.git
cd timesfm
pip install -e .[torch]  # 或 [flax] / [xreg]

    核心功能

    • ⚡ 长上下文时序预测：TimesFM 2.5 支持最长 16K 的时序上下文输入（2.0 版本仅 2048），可输出最长 1K 的预测 Horizon，适配绝大多数工业场景。
    • 📊 概率预测输出：除点预测外，还支持通过可选的 30M 分位数头输出 10%-90% 共 10 个分位数的连续概率预测，让预测结果包含不确定性信息，对风险敏感场景（金融、供应链）尤为重要。
    • 🔀 多后端支持：同时支持 PyTorch 和 Flax 两大深度学习框架后端，用户可按硬件环境自由选择；Flax 版本在 TPU 上推理速度显著提升。
    • 📈 协变量支持（XReg）：通过 XReg 模块可引入额外协变量特征（如节假日标记、促销信息等），有效提升复杂业务场景的预测精度，是 2.5 版本重新引入的重要特性。
    • 🎯 灵活预测配置：支持输入归一化、翻转不变性、正数推断、分位数交叉修正等多种预测配置，用户可根据数据特性精细化调整，获得更可靠的预测结果。

    典型使用场景

    • 📦 企业需求预测：零售企业可利用 TimesFM 对商品销量进行多步预测，输入历史销售数据（支持 16K 长度），输出未来 1K 个时间点的销量预测及置信区间，辅助库存决策和供应链优化。相比传统 ARIMA/Prophet 方法，TimesFM 无需手动特征工程，且对新型商品的冷启动预测表现优异。
    • 📊 业务指标异常预警：运维团队可将服务器 CPU 使用率、API 响应延迟、用户活跃度等关键指标输入 TimesFM，预测未来趋势并提前发现异常苗头。结合分位数预测输出的不确定性区间，可以在指标偏离正常范围之前发出预警，实现从”被动响应”到”主动预防”的转变。
    • 💹 金融时间序列分析：量化分析师可使用 TimesFM 对股票价格、汇率、期货价格等金融时间序列进行建模预测。TimesFM 的零样本预测能力使其可以快速适配不同金融产品，而概率预测输出则为风险评估提供了量化依据。Google Research 在预训练数据中包含了 Wikimedia Pageviews 和 Google Trends 数据，使模型对网络流行趋势类时序具有更好的理解。

    推荐理由

    作为 Google Research 的官方开源项目，TimesFM 代表了时间序列预测从”传统统计方法”向”基础模型范式”的重大转变。我推荐它的理由有以下几点：

    首先，真正的零样本预测能力。传统预测方法（ARIMA、ETS、Prophet）需要针对每个时间序列单独拟合模型，数据量不足时效果很差。TimesFM 在包含千亿级时序数据点的预训练语料上训练，习得了时序数据的通用模式，面对全新数据集时无需微调即可预测，大大降低了使用门槛。

    其次，工业级可用性。TimesFM 已在 Google 自家的 BigQuery ML 和 Google Sheets 中作为生产功能提供服务，经过大规模真实场景验证。2.5 版本将参数量从 500M 压缩到 200M，在保持预测精度的同时大幅提升了推理效率，体现了 Google Research 对实用性的高度重视。

    最后，与 LLM 生态的完美类比。TimesFM 之于时间序列，犹如 GPT/BERT 之于自然语言。对于已经熟悉 LLM 应用的开发者，TimesFM 提供了一条将”基础模型革命”延伸到数值预测任务的清晰路径。随着 AI Agent 对工具调用和外部数据感知的需求日益增长，像 TimesFM 这样的专业基础模型将成为 Agent 工具链的重要一环。

    下载地址

    许可证：Apache-2.0（可自由用于商业和个人项目）