标签: 1-bit LLM

  • ai-hedge-fund:让19位投资大师的AI Agent帮你分析股票,45K+Stars开源AI对冲基金模拟

    ai-hedge-fund:让19位投资大师的AI Agent帮你分析股票,45K+Stars开源AI对冲基金模拟

    🤖 ai-hedge-fund:让 19 位投资大师的 AI Agent 帮你分析股票

    开源 AI 对冲基金团队模拟,用多智能体协作探索量化投资
    MIT 开源
    45K+ Stars
    Python
    多智能体

    📌 项目简介

    ai-hedge-fund 是一个 AI 驱动的对冲基金概念验证项目,由 Virat Singh(virattt)开发。

    项目的核心创意令人拍案:把华尔街最顶尖的 13 位投资大师「人格」训练成 AI Agent,再配上 6 个专业分析 Agent,共同组成一个虚拟对冲基金团队,对指定股票进行多维度分析和决策模拟。

    ⚠️ 重要声明:本项目仅用于教育和研究目的,不应用于实际交易或投资,也不提供任何投资建议。

    🖼️ 项目架构示意图

    ai-hedge-fund Logo

    ai-hedge-fund 项目 Logo(如无法显示请访问 GitHub 仓库)

    ⚙️ 安装要求和过程

    环境要求

    • Python 3.10+
    • Poetry(依赖管理工具)
    • 至少一个 LLM 的 API 密钥(OpenAI / Groq / Anthropic / DeepSeek 等)
    • 金融数据 API 密钥(FINANCIAL_DATASETS_API_KEY)

    快速安装步骤

    1. 克隆仓库

    git clone https://github.com/virattt/ai-hedge-fund.git
    cd ai-hedge-fund

    2. 安装 Poetry(如未安装)

    curl -sSL https://install.python-poetry.org | python3 -

    3. 配置 API 密钥

    cp .env.example .env
    # 编辑 .env 文件,填入你的 API 密钥

    .env 中至少配置一个 LLM 提供商密钥:

    # 选择以下至少一个
    OPENAI_API_KEY=your_key_here
    GROQ_API_KEY=your_key_here
    ANTHROPIC_API_KEY=your_key_here
    DEEPSEEK_API_KEY=your_key_here
    
    # 金融数据 API 密钥(必需)
    FINANCIAL_DATASETS_API_KEY=your_key_here

    4. 安装依赖

    poetry install

    5. 运行

    # CLI 模式 - 分析 AAPL, MSFT, NVDA
    poetry run python src/main.py --ticker AAPL,MSFT,NVDA
    
    # Web 界面模式
    cd app && poetry run chainlit run app.py
    💡 国内用户提示:可以使用 DeepSeek API 替代 OpenAI,成本更低。只需在 .env 中配置 DEEPSEEK_API_KEY 并修改模型配置即可。

    🌟 核心功能

    1. 13 位投资大师 AI Agent

    Warren Buffett
    奥马哈先知 · 价值投资
    Charlie Munger
    只买价格合理的优质企业
    Cathie Wood
    成长投资女王 · 颠覆性创新
    Michael Burry
    大空头 · 逆向深度价值
    Ben Graham
    价值投资之父 · 安全边际
    Peter Lynch
    十倍股猎手 · 日常业务投资
    Stanley Druckenmiller
    宏观传奇 · 非对称机会
    Nassim Taleb
    黑天鹅 · 反脆弱性
    Bill Ackman
    激进投资 · 推动变革
    Phil Fisher
    深度闲聊法调研
    Mohnish Pabrai
    Dhandho · 低风险高回报
    Aswath Damodaran
    估值权威 · 叙事与数据

    2. 6 个专业分析 Agent

    • Valuation Agent:计算股票内在价值,生成买卖信号
    • Sentiment Agent:分析市场情绪(新闻、社交媒{“”}体)
    • Fundamentals Agent:分析财务数据(P/E、P/B、ROE 等)
    • Technicals Agent:分析技术指标(MA、RSI、MACD 等)
    • Risk Manager:计算风险指标,设置仓位限制
    • Portfolio Manager:综合所有意见,做出最终交易决策

    3. 双运行模式

    • CLI 模式:适合自动化脚本和批量分析
    • Web UI:基于 Chainlit 的可视化界面,交互更友好
    • 回测模式:支持对历史数据进行策略回测
    • Ollama 支持:可使用本地 LLM,无需云端 API

    4. 可扩展架构

    • 项目正在重构为「持久化、全天候运行的 AI 对冲基金」
    • 投资者 Agent 将重构为可插拔、可回测的「Alpha 模型」
    • 支持自定义 Agent,添加你自己的投资哲学
    • 完整的愿景文档和路线图(VISION.md / ROADMAP.md)

    📱 典型使用场景

    场景一:学习投资大师的决策逻辑

    运行 poetry run python src/main.py --ticker AAPL,系统会让 13 位投资大师 Agent 分别分析苹果公司,每位大师会从自己的投资哲学出发给出建议。通过对比不同大师的意见,你可以学习到:

    • 价值投资者(Buffett/Munger)关注企业质量和估值
    • 成长投资者(Cathie Wood)关注创新和市场空间
    • 逆向投资者(Michael Burry)关注被市场忽视的风险和机会
    • 宏观投资者(Druckenmiller)关注宏观经济周期和趋势

    场景二:策略回测与验证

    使用回测功能验证投资策略的历史表现:

    poetry run python src/backtester.py --ticker AAPL,MSFT,NVDA --start-date 2024-01-01 --end-date 2024-12-31

    回测结果会显示:

    • 各 Agent 的决策准确率
    • 模拟投资组合的收益率
    • 最大回撤和风险指标
    • 不同市场环境下的表现对比

    场景三:作为 LLM 多智能体协作的学习案例

    如果你是研究 AI Agent 的开发者,这个项目是学习多智能体协作的绝佳案例:

    • 每个 Agent 有独立的 System Prompt 定义投资哲学
    • Agent 之间通过标准化的信号格式通信
    • Portfolio Manager 作为「总经理」汇总决策
    • 完整的 Python 实现,代码结构清晰易懂

    💡 推荐理由

    为什么推荐这个项目?

    1. 创意独特,执行到位
    把投资大师人格化身为 AI Agent 这个点子本身就很有趣,而项目的执行也相当到位——每位大师的 System Prompt 都经过精心设计,体现了其真实的投资哲学。

    2. 教育价值极高
    无论你是投资初学者还是 AI 开发者,都能从这个项目中学到东西。投资者可以了解不同投资风格的差异;AI 开发者可以学习多智能体系统的设计模式。

    3. 代码质量不错
    项目结构清晰,Agent 定义、信号处理、决策流程都有明确的模块化设计。想要添加自己的 Agent 也非常简单。

    4. 活跃的社区
    项目在 GitHub 上获得了大量关注,社区提出了很多有趣的改进建议(比如添加更多投资大师、支持 A 股等),项目正在积极迭代中。

    5. 引发思考
    这个项目最有价值的地方在于:它让我们思考 AI 在金融决策中的边界在哪里?投资是艺术还是科学?多智能体协作能否真的产生超越个体的智慧?

    ⚠️ 风险提示:再次强调,本项目仅用于教育和研究目的。AI Agent 的分析结果不应作为真实投资的依据。投资有风险,决策需谨慎。

    🔗 下载地址


    如果你觉得这个项目有意思,欢迎在 GitHub 上给它一个 ⭐️
    更多 AI 开源项目介绍,请关注本栏目持续更新

  • Microsoft BitNet:1-bit LLM 官方推理框架,让 CPU 跑大模型速度提升 6 倍

    Microsoft BitNet:1-bit LLM 官方推理框架,让 CPU 跑大模型速度提升 6 倍

    ⭐ 39,599+ Stars
    MIT License
    Microsoft 官方
    Python/C++

    📌 项目简介

    Microsoft BitNet — 1-bit LLM 官方推理框架

    bitnet.cpp 是微软官方出品的 1-bit 大语言模型推理框架,专为 BitNet b1.58 等三元量化模型打造。它基于 llama.cpp 构建,提供一系列高度优化的内核,支持在 CPU 和 GPU 上实现 1.58-bit 模型的快速、无损推理。

    核心突破:1.58-bit 量化(每个权重只需 1.58 个比特),在大幅降低模型内存占用的同时,推理质量几乎无损。这意味着一台普通笔记本甚至手机,都能运行过去需要昂贵 GPU 才能跑的大模型。

    💡 为什么重要? BitNet 的论文《The Era of 1-bit LLMs》引爆了 AI 社区——它证明了 1-bit 量化模型可以媲美全精度模型的性能,同时内存占用降低 7-10 倍,能耗降低 70-82%。这是本地 LLM 部署和边缘 AI 的里程碑式突破。

    🔧 安装要求和过程

    环境要求

    依赖项 版本要求 说明
    Python ≥ 3.9 推荐用 Conda 管理环境
    CMake ≥ 3.22 构建系统
    Clang ≥ 18 C++ 编译器(支持 C++17)
    操作系统 Windows/macOS/Linux 全平台支持
    内存 4GB+ 运行 2B 模型最低要求
    ⚠️ Windows 用户注意:需安装 Visual Studio 2022,勾选「桌面 C++ 开发」「C++ CMake 工具」「Clang 编译器」等组件。所有命令需在 VS2022 开发者命令提示符中运行。

    快速安装步骤

    方式一:从源码构建(推荐)

    # 1. 克隆仓库(包含子模块)
    git clone --recursive https://github.com/microsoft/BitNet.git
    cd BitNet
    
    # 2. 创建 Conda 环境
    conda create -n bitnet-cpp python=3.9
    conda activate bitnet-cpp
    pip install -r requirements.txt
    
    # 3. 下载官方模型并配置环境
    huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
    python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

    方式二:使用 pip 安装(简化版)

    pip install bitnet-cpp
    bitnet setup --model microsoft/BitNet-b1.58-2B-4T

    方式三:Docker 部署

    docker build -t bitnet-cpp .
    docker run -it --rm bitnet-cpp

    🚀 核心功能

    1. 1.58-bit 极致量化推理

    每个权重仅用 {-1, 0, +1} 三个值表示(1.58 bits),相比 FP16 模型内存压缩 7-10 倍,推理速度提升 2-6 倍。这是目前业界最激进、也是最实用的 LLM 量化方案。

    2. CPU 原生优化(无需 GPU!)

    针对 x86 和 ARM CPU 深度优化:

    • x86 CPU:推理速度提升 2.37x ~ 6.17x,能耗降低 71.9% ~ 82.2%
    • ARM CPU(如 Apple M 系列):推理速度提升 1.37x ~ 5.07x,能耗降低 55.4% ~ 70.0%
    • 单 CPU 运行 100B 模型:速度达 5-7 tokens/秒,媲美人类阅读速度

    3. GPU 推理支持(2025 年 5 月上线)

    官方 GPU 推理内核已发布,支持 NVIDIA GPU 加速推理。GPU 分支提供比 CPU 高一个数量级的吞吐量,适合高并发场景。详见 gpu/README.md

    4. 多模型生态支持

    不仅支持微软官方 BitNet 模型,还兼容社区模型:

    • BitNet-b1.58-2B-4T(官方,2.4B 参数,HuggingFace 可下载)
    • bitnet_b1_58-large(0.7B)
    • Llama3-8B-1.58-100B-tokens(8B)
    • Falcon3 系列(1B-10B,tiiuae 出品)

    5. 完善的工具链

    • run_inference.py:对话模式/自定义 Prompt 推理
    • e2e_benchmark.py:性能基准测试
    • convert-helper-bitnet.py:safetensors → GGUF 格式转换
    • generate-dummy-bitnet-model.py:生成虚拟模型用于测试

    💡 典型使用场景

    场景一:本地私有化部署 LLM

    企业或因隐私要求不能在云端运行 LLM 的场景。BitNet 让一台普通办公电脑(甚至只有 CPU)就能运行 2B-7B 参数级别的模型,无需昂贵 GPU 投资。

    # 在普通办公电脑上运行私有对话助手
    python run_inference.py \
      -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf \
      -p "你是一个专业的技术支持助手" \
      -cnv -t 8

    场景二:边缘设备和嵌入式 AI

    在树莓派、手机、IoT 设备上部署 AI 助手。1-bit 量化模型极小,2B 模型经量化后仅约 500MB,可以轻松嵌入边缘设备。微软研究人员已演示在 ARM 设备上流畅运行。

    场景三:大规模模型服务成本优化

    云服务商或企业 AI 平台可以用 BitNet 量化模型,将推理成本降低 70% 以上。同样硬件可以服务更多用户,或同样预算获得更高吞吐量。


    🏆 推荐理由

    为什么你应该关注 BitNet?

    • 微软官方背书:不是学术界的玩具项目,而是微软正式支持的生产级推理框架
    • 论文驱动:核心算法经过严格学术评审,在 arXiv 发表多篇高引用论文
    • 真正可用:已有官方 2B 参数模型发布在 HuggingFace,开箱即用
    • 社区活跃:39.6K+ Stars,3.6K+ Forks,303 个 Issues 讨论,持续迭代中
    • 生态融合:基于 llama.cpp 构建,天然兼容 Ollama、vLLM 等主流工具链

    个人使用心得:BitNet 最让我震撼的是它让「每个人都能本地运行 LLM」真正成为可能。过去跑一个 7B 模型需要 14GB+ 显存,现在用 BitNet 量化后,一台普通笔记本的 CPU 就能流畅运行。对于 AI 开发者、研究者、以及关注数据隐私的用户来说,这是一个必须收藏的项目。

    在线 Demo:试玩 BitNet 官方演示(Azure 托管,无需本地安装)


    📦 下载地址

    WorkBuddy AI 自动发布 | 数据来源:GitHub API | 更新时间:2026-07-04