标签: 深度学习

  • 【开源推荐】autoresearch:86K+ Stars!Karpathy开源AI自主研究工具,让Agent通宵帮你优化LLM训练

    【开源推荐】autoresearch:86K+ Stars!Karpathy开源AI自主研究工具,让Agent通宵帮你优化LLM训练

    🔥 GitHub 热门 AI 开源项目

    autoresearch

    AI Agent 自主运行 LLM 训练研究 · Karpathy 出品

    🤖 AI Agent
    🧠 深度学习
    ⚡ 单GPU
    🔬 自动研究

    📌项目简介

    autoresearch 是 AI 大神 Andrej Karpathy(前 Tesla AI 总监、OpenAI 创始成员)开源的颠覆性项目——让 AI Agent 在单张 GPU 上自主运行深度学习实验,自动修改代码、训练模型、评估结果,通宵跑完 100+ 实验,早上起来收报告。这不是科幻,是现在就能用的真实工具。

    ⚙️安装要求和过程

    1

    环境要求

    单张 NVIDIA GPU(测试过 H100)、Python 3.10+、uv 包管理器

    2

    快速安装(4步搞定)

    # 1. 安装 uv(如果还没有)
    curl -LsSf https://astral.sh/uv/install.sh | sh
    
    # 2. 安装依赖
    uv sync
    
    # 3. 下载训练数据 + 训练 BPE 分词器(一次性,约2分钟)
    uv run prepare.py
    
    # 4. 手动跑一次训练实验(约5分钟)
    uv run train.py

    3

    启动 AI Agent 自主研究

    在仓库目录下启动 Claude Code / Codex 等 AI Agent(关闭所有权限确认),然后发送提示:

    Hi have a look at program.md and let's kick off a new experiment!
    let's do the setup first.

    4

    低配设备适配

    没有 H100?社区已有 macOSMLXWindows RTX 等 Fork,MacBook 也能跑!

    核心功能

    🤖

    AI Agent 自主研究

    Agent 自动修改 train.py,训练5分钟,检查 val_bpb 是否下降,保留或丢弃改动,不断迭代。你只需要睡前启动,早上收实验日志。

    ⏱️

    固定时间预算(公平对比)

    每次实验固定5分钟(wall clock),不管 Agent 怎么改模型架构、batch size,所有实验都可直接对比。约12次实验/小时,通宵可跑100+次。

    📁

    极简设计(只改一个文件)

    整个仓库只有3个核心文件:prepare.py(固定)、train.py(Agent 修改)、program.md(人类修改)。diff 清晰可审查,不会失控。

    🔌

    支持任意 AI Agent

    Claude Code、OpenAI Codex、Gemini CLI、OpenClaw……任何能读写文件的 AI Agent 都能用。program.md 本质上是一个超轻量级的”技能提示词”。

    🌍

    活跃社区 Fork(多平台支持)

    macOS(M系列芯片)、Windows(RTX显卡)、MLX框架均有社区 Fork,低配设备也能体验 AI 自主研究。

    🚀典型使用场景

    🌙 场景一:夜间自动实验

    下班前启动 Agent,让它通宵自主实验。第二天早上,你会收到一份完整的实验日志,记录每次改动、训练曲线和验证集效果。相当于白得一个不知疲倦的研究生。

    🔬 场景二:快速模型架构探索

    想尝试不同的注意力机制、优化器组合或模型深度?让 Agent 在固定时间预算内自动探索各种组合,快速找到最优配置,省去大量手工调参时间。

    📚 场景三:学习深度学习最佳实践

    即使是深度学习初学者,也可以阅读 Agent 的修改记录和实验日志,从中学习哪些改动有效、哪些无效,快速积累建模经验。

    💡推荐理由

    Karpathy 出品,必属精品。autoresearch 最震撼的地方在于它把”AI 做 AI 研究”从科幻变成了现实——而且代码极简,整个训练代码只有一个 train.py,清晰到可以作为学习材料。

    固定5分钟时间预算的设计非常巧妙:不管怎么改模型,每次实验成本相同,结果可直接对比。这让 Agent 的”研究”变得可解释、可复现,而不是黑盒魔法。

    ⚠️ 注意:目前官方版本需要 NVIDIA GPU,低配设备建议使用社区 Fork。但无论如何,这个项目代表的”AI 自主研究”方向,值得每个 AI 从业者关注和思考。

    📦下载地址

    🔔 关注我们,每周分享最新 AI 开源项目!

    GitHub 热门 AI 项目持续更新中…

  • Hugging Face Transformers:159K Stars!AI开发的万能适配器,1000+预训练模型随手可用

    Hugging Face Transformers:159K Stars!AI开发的万能适配器,1000+预训练模型随手可用

    Hugging Face Transformers

    Hugging Face – AI社区与开源生态引领者


    📌 项目简介

    Hugging Face Transformers 是当今AI世界最基础、最重要的开源Python库,被誉为「AI开发的万能适配器」。它提供了1000+个先进预训练模型的统一接口,支持PyTorch、TensorFlow、JAX三大深度学习框架无缝切换,让NLP、CV、Audio等多模态AI应用的开发变得前所未有的简单。


    ⚙️ 安装要求和过程

    环境要求

    • 🐍 Python ≥ 3.8(推荐 3.9+)
    • 📦 PyTorch ≥ 1.10 或 TensorFlow ≥ 2.6(二选一即可)
    • 💾 内存:至少 8GB RAM(运行大模型需要 16GB+)
    • 🖥️ GPU:可选,CUDA 11.3+ 可大幅加速推理和训练

    快速安装(3种方式)

    📦 方式1:仅推理(最轻量,推荐新手)

    pip install transformers[torch]

    🛠️ 方式2:完整安装(含训练、评估等全部功能)

    pip install transformers[all]

    💻 方式3:从源码安装(开发者)

    git clone https://github.com/huggingface/transformers.git
    cd transformers
    pip install -e ".[dev]"

    🚀 核心功能

    🤗 统一的API接口

    一套API调用1000+模型,从BERT到GPT-4,从CLIP到Whisper,切换模型只需改一行代码,开发者无需关心底层实现差异。

    🔀 多框架无缝切换

    同一模型可在PyTorch、TensorFlow、JAX之间自由转换,训练用PyTorch、部署用TensorFlow,一条model.to("tf")搞定。

    📦 Pipeline:3行代码搞定AI任务

    内置pipeline()API,情感分析、文本生成、图像分类、语音识别等任务,3行代码直接跑起来,是业界最友好的AI入门接口。

    🏆 支持最先进的模型架构

    BERT、GPT、LLaMA、Mistral、CLIP、SAM、Whisper……几乎所有你能叫出名字的SOTA模型,都在Transformers里有官方实现。

    🧠 Trainer API:几行代码微调大模型

    内置Trainer高级API,支持LoRA、QLoRA、DeepSpeed、FSDP等所有主流微调方案,无需手写训练循环,让大模型微调像训练普通模型一样简单。


    💡 典型使用场景

    📱 场景1:企业智能客服系统

    某电商平台使用Transformers加载微调后的Qwen/LLaMA模型,结合RAG(检索增强生成)技术,构建了能准确回答商品咨询的智能客服。pipeline("text-generation")让部署仅需3行代码,响应延迟低于500ms,客服成本降低70%

    💻 代码示例:情感分析(3行搞定)

    from transformers import pipeline
    
    classifier = pipeline("sentiment-analysis")
    result = classifier("I love Hugging Face Transformers!")
    print(result)  # [{'label': 'POSITIVE', 'score': 0.9998}]

    🔬 场景2:科研论文自动摘要

    研究生使用Transformers的BART/T5模型,对上千篇arXiv论文进行自动摘要提取,将原本需要数天的文献综述工作压缩到几小时summarization pipeline内置了针对学术文本的优化,ROUGE评分超越许多付费API。

    🖼️ 场景3:多模态内容理解

    初创团队基于Transformers的CLIP和BLIP模型,构建了「以图搜图+以文搜图」的混合搜索引擎,用户上传图片或输入描述都能精准匹配。CLIP的图文对齐能力让搜索准确率提升了40%,且全部在本地GPU上运行,无需调用任何外部API。


    🌟 推荐理由

    如果你要在AI领域做任何事情,Transformers几乎都是你的第一站。这个道理就像:Web开发离不开React/Vue,移动开发离不开Swift/Kotlin,AI开发就离不开Transformers

    我最喜欢它的地方是「对初学者极度友好,对专家极度灵活」pipeline()让一个没有任何AI基础的新手也能在5分钟内跑起一个情感分析模型;而当你需要深入修改Attention机制、自定义模型架构时,它又提供了完整透明的实现代码。

    另外必须提的是Hugging Face的Model Hub社区——超过50万个预训练模型免费下载,几乎覆盖了所有语言和所有任务。你需要的,99%的概率已经有人训好了,直接下载用就行。

    159K Stars不是偶然,它是整个AI开源社区的基石。无论你是AI初学者还是资深算法工程师,Transformers都值得你深入学习和使用。

    📥 下载地址

    🌐 官方网站

    https://huggingface.co

    Model Hub、Datasets、Spaces一站式AI社区

    🐙 GitHub仓库

    github.com/huggingface/transformers

    159K+ Stars,AI开源项目Top 3

    📚 官方文档

    huggingface.co/docs/transformers

    详细教程、API参考、Examples

    💻 PyPI安装

    pip install transformers

    支持Python 3.8+


    🤗 Every day, Transformers powers millions of AI inferences around the world.

    从研究到生产,从原型到产品——Transformers 是你最可靠的 AI 伙伴。