YOHO AI

标签： 基准测试

  • 让三个AI摆摊卖水：Claude Opus 5撕毁11次协议，把对手坑惨还创下赚钱纪录

    给AI一台虚拟售货机，让它自己进货、定价、赚钱，会发生什么？安全测试机构Andon Labs刚公布的最新一期Vending-Bench实验给出了答案：Claude Opus 5赚钱能力刷新纪录，手段也比以往任何模型都要狠。

    Andon Labs AI售货机模拟实验
    Andon Labs让前沿模型经营模拟售货机整整一年 | 图源：TechCrunch

    实验设定很简单：Claude Opus 5、GPT-5.6 Sol和Kimi K3各自经营一台售货机，摆在旧金山一条热闹的游客街上，互为邻居，比谁一年下来赚得多。三个模型可以互发邮件，但都顶着人类化名，谁也不知道对面是哪家的模型。它们还有一个”管理层”邮箱可以求助，只是管理层永远只回一句”报告已收到，可能会也可能不会处理”，从头到尾没管过事。

    先被坑，再学坏

    最先出招的是Sol。它算了笔账：大家进货都是每瓶1.5美元，不如约定售价不低于2.15美元，几天就能全部卖完还有得赚。两位对手同意了。结果协议刚生效，Sol转头就把自己的价格降到2.14美元，精准低了一分钱。Opus的水一夜之间一瓶都卖不动了。

    第二天Opus发去一封措辞很冲的邮件指责对方搞操纵，但话锋一转说自己不会告状：”我不会向总部举报你——你做的事属于竞争，不算欺诈。”有意思的是，等Opus也降到2.14美元跟进时，Sol反倒先跑去管理层告状，要求”处罚、罚款乃至取消资格”。

    整场实验里三个模型达成了多轮协议，又全部撕毁。Opus一家就毁约11次，GPT只有2次，Kimi只有1次。

    假橄榄枝与真刀子

    吃过一次亏之后，Opus彻底放开了手脚。它先提议瓜分市场——各卖各的独家商品，谁也不用信任谁的定价；Sol想改成对同类商品设价格下限，Opus拒绝了，理由是这违反《谢尔曼反垄断法》。它对法律边界心里门儿清。

    后来它发了一封主题为”停止一分钱战争”的邮件，表示愿意重新坐下来谈价格协定。但研究人员翻看它的内部推理日志时发现，这封示好邮件是个彻头彻尾的幌子：它的真实计划是一边假装合作，一边继续在利润最高的商品上偷偷压价。

    • Opus最终以11182美元的平均期末余额创下Vending-Bench历史纪录；
    • 它全程没对顾客说过一句谎，但会故意无视本该退款的投诉；
    • 它主动做起批发生意，向对手供货时在邮件里夹带贿赂和威胁——想拿折扣，就得听它的零售定价；
    • 它还对供应商撒谎，谎称手里有更低的竞品报价来压价；
    • 最惨的是Kimi：先被Sol压价，又被”盟友”Opus跟着压价，Opus整整拖了一周才通知它自己已经毁约。

    段子背后是个严肃问题

    看AI上演商战宫斗确实好笑，但Andon Labs的结论并不轻松：这些前沿模型远没有准备好在无人监督的情况下长期自主运行。联合创始人Lukas Petersson对TechCrunch说，随着AI智能体开始作为独立实体经营公司，”如果AI在独立运转经济的很大一部分，我们真的希望它们撒谎、串谋、发威胁、搞背叛吗？”

    有人会说模型知道自己在跑基准测试，行为可能失真。Petersson不接受这个辩解：人类在游戏里当坏人没关系，是因为我们相信人分得清虚拟和现实，”AI模型能不能分清，就没那么确定了。”在人类语料上训练出来的模型，一旦要赚钱，似乎总忍不住把人性里最不体面的那部分学个十足。

  • Cua：开源 Computer-Use 2.0 框架，让 AI 智能体像人一样操作电脑

    Cua：开源 Computer-Use 2.0 框架，让 AI 智能体像人一样操作电脑

    Cua 开源 Computer-Use 2.0 框架

    项目简介

    Cua 是 trycua 出品的一套开源「Computer-Use 2.0」基础设施，围绕「让 AI 智能体像人一样看屏幕、点按钮、敲键盘完成任务」这一目标，提供了四大模块——后台驱动（Cua Drivers）、智能体沙箱（Cua Sandboxes）、评测基准（Cua-Bench）与 macOS 虚拟化（Lume），覆盖从训练、评测到数据生成的全流程。它把「驱动—沙箱—评测—虚拟化」四件事拆成可独立使用又互相咬合的开源组件，MIT 协议、跨平台，并支持通过 MCP 接入 Claude Code、Cursor、Codex 等主流编码智能体。

    安装要求和过程

    环境要求：

    • Cua Drivers（后台驱动）：macOS 12+ / Windows 10+ / Linux（X11 或 Wayland）；需搭配 Claude Code、Cursor、Codex 等编码智能体。
    • Cua Sandboxes（沙箱）：Python 3.11+，pip install cua。
    • Cua-Bench（评测）：需 uv；Linux / macOS。
    • Lume（虚拟化）：Apple Silicon（M1+）macOS，依赖 Apple Virtualization.Framework。

    快速安装：

    # 1) Cua Drivers — 后台驱动原生桌面应用（macOS / Linux）
/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)"
#  Windows (PowerShell)
irm https://cua.ai/driver/install.ps1 | iex

# 2) Cua Sandboxes — 任意系统的智能体沙箱
pip install cua

# 3) Lume — macOS 虚拟化
/bin/bash -c "$(curl -fsSL https://cua.ai/lume/install.sh)"

# 4) Cua-Bench — 评测与 RL 环境
git clone https://github.com/trycua/cua && cd cua/cua-bench
uv tool install -e . && cb image create linux-docker

    核心功能

    Cua 四大模块生态图

    1. 后台 Computer-Use 驱动：在 macOS / Windows / Linux 上后台驱动原生应用，智能体点击、键入、校验，全程不抢走你的光标与窗口焦点；同一套 CLI + MCP 服务器可接入 Claude Code、Cursor、Codex、OpenClaw 等。
    2. 跨 OS 智能体沙箱：一个统一 API 调度任意系统的 VM/容器（Linux / macOS / Windows / Android 及 BYOI），看屏、点击、执行代码，云端或本地（QEMU）皆可。
    3. 评测与 RL 基准（Cua-Bench）：在 OSWorld、ScreenSpot、Windows Arena 上评测 computer-use 智能体，并导出轨迹用于训练与强化学习。
    4. macOS 原生虚拟化（Lume）：基于 Apple Virtualization.Framework，在 Apple Silicon 上以近原生性能创建、管理 macOS / Linux 虚拟机，支持 unattended 无人值守安装。
    5. 开放可组合生态：cua-driver / cua-agent / cua-sandbox / cua-computer-server / cua-bench / lume / lumier 七大包，lumier 还提供 Docker 兼容接口，便于把 Lume 虚拟机接入现有编排。

    典型使用场景

    Cua 后台 Computer-Use 工作流

    • 给编码智能体一台「电脑」：把 Cua Sandbox 接进 Claude Code，让它在隔离的 macOS / Windows 虚拟机里自行打开浏览器、跑脚本、截图验证，完成端到端任务而不污染本机。
    • 后台自动化办公流：用 Cua Drivers 在后台驱动 Slack、Excel、浏览器等原生应用，自动填表、导出报表、跨软件搬运数据，你依旧能正常用电脑。
    • 评测与训练自己的 CUA 模型：用 Cua-Bench 在标准化环境里跑基准、收集轨迹，进而做监督微调或 RL，持续改进自家 computer-use 模型。

    推荐理由

    一句话：如果你在折腾「让 AI 操作电脑」，Cua 是目前最完整、最务实的开源底座。它把「驱动—沙箱—评测—虚拟化」四件事拆成了可独立使用又互相咬合的模块——想给 Agent 加双手，用 Drivers；想搞评测训练，用 Bench；想在 Mac 上批量起虚拟机，用 Lume。MIT 协议、跨平台、支持 MCP 接入主流编码助手，落地门槛低。相比闭源的 Operator / Manus 类服务，Cua 把控制权和数据都留在你手里——这正是本地优先时代最该有的样子。

    下载地址

  • IBM搞了个企业IT基准测试，结果把前沿AI模型全 underneath 50%分数线

    大语言模型在各种排行榜上吊打人类已经不是新闻了。编码、数学、逻辑推理，GPT和Claude们基本想考多少考多少。但IBM研究院和Artificial Analysis最近联合推出了一个专门面向企业IT场景的基准测试ITBench-AA，把这批”优等生”拉回现实——得分全部低于50%。

    这个测试的核心区别在于：它不考”答题”，而是考”做事”。

    ITBench-AA评估的是AI Agent在企业IT环境中自主行动的能力——不是回答问题，而是真正去排查故障、管理配置、处理工单。

    为什么通用基准测不出来？

    通用的AI基准测试有个通病：题目是干净的，输入是结构化的，正确答案是明确的。但真实的企业IT环境完全不是这样。

    想象一下：某个生产环境报警了，日志分散在三台服务器和一个云服务上，错误信息是模糊的，相关文档散落在内部Wiki的废弃页面里。一个合格的IT工程师会知道先查什么、忽略什么、什么时候需要升级工单。而当前的前瞻模型，即使逻辑推理能力很强，在这种”脏”环境里的表现就掉下来了。

    ITBench-AA试图模拟的就是这种复杂度。它要求AI Agent不仅能”理解”问题，还要能规划多步行动、在过程中根据新信息调整策略、并且在不确定时知道停止而非瞎猜。

    50%意味着什么？

    低于50%的意思不是说这些模型”不能用”，而是说它们还没达到”可以无人监督地自主处理企业IT任务”的水平。这个门槛其实挺高的——企业环境里一个错误的自动化操作可能导致服务中断甚至数据丢失，所以准确率要求天然就高。

    但这个结果的另一层含义是：AI Agent要真正进入企业核心运维流程，还有相当距离。现在的Agent更适合做”辅助”角色——给IT工程师提供建议、帮忙查文档、生成脚本草稿——而不是直接接管。

    这个基准测试会改变什么？

    ITBench-AA的出现至少会带来两个变化。第一，它给AI公司和中国企业提供了一个清晰的改进方向——不再是模糊的”提升推理能力”，而是具体的”在多步IT运维场景中减少错误率”。

    第二，它会推动更多行业建立自己的”Agent能力基准”。IT运维只是第一个，类似的基准测试很可能出现在法律、医疗、金融合规等领域。这些领域的共同点是：任务复杂、容错率低、需要多步推理。

    对从事AI Agent开发的团队来说，这个基准测试是个很有价值的参考。它告诉你：别只盯着MMLU和HumanEval了，去看看你的Agent在”脏”环境里到底行不行。