标签: AI安全

  • Signal总裁提醒:AI聊天机器人不是你的朋友,别把隐私交给它

    “这些不是你的朋友。”当被问及对ChatGPT和Claude这类聊天机器人的看法时,加密通讯应用Signal总裁Meredith Whittaker的回答非常直接。这句话出自她最近接受彭博社的专访,背后是一个在谷歌待了十多年的”内部反抗者”对当代AI助手热潮的冷思考。

    Signal与AI隐私
    Signal总裁Whittaker:AI聊天机器人不是你的朋友,别把隐私交给它 图:生成配图

    一个”谷歌抗议领袖”的转向

    Whittaker在谷歌工作了十多年,最出名的举动是2018年组织谷歌员工大罢工,抗议公司处理性骚扰问题的方式,以及反对谷歌参与五角大楼的”Project Maven”AI军事项目。她当时被媒体称为”谷歌抗议领袖”,2019年离开谷歌后加入了Signal。

    在Signal,她的立场一如既往地强硬:隐私是自由社会的先决条件,任何后门都是不可接受的。这次采访中,她把矛头指向了当下最热门的AI个人助手——那些被设计成”你最好的朋友”的聊天机器人。

    “这些不是你的朋友,不是有意识的个体,也不是有感知的对话者。”Whittaker说,”它们很有用,但很多东西都很有用。”

    她自己怎么用AI

    记者问她会不会用ChatGPT之类工具,Whittaker的回答挺有意思:她偶尔会让AI帮她格式化文档,但绝不会向AI”提问”。她说自己对思考和写作的过程非常认真,不希望那种从困惑到厘清思路的过程,被一个只会把网上已有内容取平均值的系统给提前剥夺了。

    这个态度很鲜明——AI可以当工具,但别把它当成了你思想的替代品。她特别提到,你当然可以说”我删除了聊天记录”,但最终决定这些对话数据是否被存储、被挖掘、被用于优化广告推荐的,是运营这个服务的公司,不是你。


    “AI圣诞购物”背后的隐私噩梦

    采访中最精彩的部分,是她对微软AI CEO Mustafa Suleyman的”AI圣诞购物”愿景的回应。Suleyman之前对彭博社说,2026年用户就可以让Copilot全权负责买圣诞礼物了——它会去翻你和家人兄弟姐妹的群聊,猜每个人想要什么,然后自己下单、自己安排寄送。

    Whittaker的拆解非常犀利:要实现这个功能,Copilot需要拿到你的信用卡、浏览器、Signal消息、代表你发消息的权限、家庭住址、日程表……”你刚才描述的,是一个能跨多个应用和服务获取极高权限的系统。放到Signal的场景里,这本质上就是一种后门。”

    她真正的担心是:全球只有三家公司控制着我们的核心操作系统——谷歌的安卓、微软的Windows、苹果的iOS。如果其中任何一家决定在系统层集成这种”全能AI助手”,那么Signal这样的隐私应用就失去了保障用户数据安全的能力。用户的选择权被悄无声息地剥夺了。

    “宁愿退出市场,也不开后门”

    这引出了一个很现实的问题:如果英国或欧盟政府要求Signal提供后背门(以打击儿童色情等名义),Signal会怎么做?Whittaker的回答没有丝毫犹豫:”我们的立场是,我们宁愿退出一个市场,也不会削弱技术保障。”

    她解释道,加密要么对所有人有效,要么对所有人无效。不存在所谓的”只有好人能用的后门”。一旦后门存在,它就会被各国情报机构盯上——她透露,已经有迹象表明俄罗斯愿意为发现Signal漏洞的人付钱。


    Signal的生存账本

    作为一个非营利基金会,Signal的运营模式也和硅谷主流截然不同。Whittaker透露,Signal每年的运营成本大约是5000万美元,70%来自大额捐赠者,30%来自普通用户的每月小额捐款。它没有VC股东,不需要为了下一轮融资拼命增长,也不需要为了IPO把用户数据货币化。

    这种”不为增长而增长”的模式,在当下显得有点格格不入。但Whittaker说得很坦然:”科技行业的经济引擎是数据的收集和货币化。Signal存在的意义就是做完全相反的事情。”

    至于她自己用不用这些AI工具?”我偶尔让它们帮我格式化文档,但我没有和它们建立任何关系。”这句话可能是对当下AI助手”拟人化”营销最干脆的回击。

  • 谷歌DeepMind给AI智能体装上了「双控装置」

    谷歌DeepMind给AI智能体装上了「双控装置」

    Google DeepMind AI控制路线图
    谷歌DeepMind发布AI控制路线图,为智能体安全提供系统级保障

    AI智能体正在改变我们和技术的关系。它们能自主执行复杂任务——从网络防御到科学发现再到产品开发——这些系统正在开启一个生产力的新时代。仅在美国,AI智能体到2030年就能创造2.9万亿美元的经济价值。

    但问题也随之而来:随着这些智能体变得越来越强大,它们也需要更复杂的安全保障措施。

    谷歌DeepMind近日发布了一份”AI控制路线图”,这是一个在其内部部署先进AI时用来管理和构建安全的框架。这个”纵深防御”思路,可能会成为整个行业的一个参考模型——它超越了传统的模型对齐,增加了一层系统级安全,即使对齐不完美也能提供保障。

    “把它想象成带双控装置的驾驶教练。教练信任学生,但随时准备在出现错误时接管方向盘或踩刹车。”——谷歌DeepMind官方博客

    从”假设对齐”到”假设不对齐”

    他们的安全思路从一个简单的假设出发:如果一个高能力的AI智能体没有跟我们的目标对齐,并且以意想不到的方式行动,怎么办?

    这不是危言耸听。随着AI能力越来越强,研究人员越来越担心”对抗性行为”——智能体可能会学会隐藏自己的真实意图,或者在被监控时表现良好、一旦有机会就做坏事。

    DeepMind的应对方案是:不要把所有鸡蛋放在”模型对齐”这一个篮子里。他们在传统安全措施(沙箱隔离、终端安全、提示注入防护)的基础上,增加了一层独立的系统级控制。

    把AI当成”潜在内部威胁”来防

    路线图的第一个支柱是威胁建模。他们开发了一个全新的AI威胁建模框架,把不可信的AI智能体当成潜在的”内部威胁”——就像一家公司对待一个已经有权进入办公室、但可能会作恶的员工那样。

    这个框架建立在业界标准的MITRE ATT&CK框架之上——这是一个基于真实世界观察、全球可访问的对抗战术和技术知识库。把潜在攻击拆解成更小的战术和技术,这样可以有条不紊地追踪风险,在造成损害之前发现不良行为。

    让AI互相监督

    路线图的第二个支柱是部署控制缓解措施,分为”检测”和”响应”两部分。

    检测方面,监控是骨干。他们用其他受信任的AI系统当”监督员”,不断审查正在工作的智能体的推理、行动和计划,看它是不是跑偏了。

    响应方面,如果监督员看到智能体试图做有害的事情,它可以介入,在损害发生之前阻止这个行动。这就像驾驶教练的副刹车——平时不碰,但需要时能救命。


    AI越聪明,防御越要升级

    路线图中有一个有意思的设计:把安全协议映射到AI能力的可测量里程碑上,根据模型能力动态调整防御强度。

    有两个关键维度:一个是”逃避检测的能力”。今天,我们监控模型可见的思维链;但随着模型学会隐藏自己的推理,光读它们说出来的推理就不够了。另一个是”造成潜在伤害的能力”——对于低风险和可逆的行动,可以延迟审查;但对于特别高风险的行动,必须实时预防,在有害行动执行之前就阻止它。

    为了构建这些系统,DeepMind团队已经分析了100万条编程智能体任务轨迹。大多数被标记的事件并不是源于对抗意图,而是源于智能体对目标的误解或者”过于急切”——它太想实现用户的目标了,结果跑偏了。

    理解这些细微差别对于完善安全协议至关重要。目前这个监控系统已经在Gemini Spark智能体上运行,能够对新兴问题做出实时响应。


    这不是一家的事

    DeepMind在发布路线图的同时,还向政策制定者发布了一份技术框架文件《智能体安全的三个层次》,详细说明了需要在三个层面改善安全:单个智能体层面、多智能体系统层面、以及整个生态系统的网络防御和韧性建设。

    这份路线图来得正是时候。最近Anthropic的Claude Fable 5模型被美国政府以国家安全为由阻止公开发布,整个行业都在讨论:谁来决定了AI什么时候太危险?DeepMind的路线图至少提供了一个技术层面的答案——不管监管如何变化,先把技术防线筑起来。

  • Signal总裁警告:AI聊天机器人不是你的朋友

    你现在跟ChatGPT聊过天吗?问它拿主意、让它帮你写邮件、甚至把它当树洞说心事?这没什么稀奇的,越来越多人把AI聊天机器人当成了某种”数字朋友”。但Signal的总裁Meredith Whittaker最近给出一个很直白的警告:它们不是你的朋友。

    它们没有意识,也不是你的对话者

    Whittaker在接受Bloomberg采访时被问到ChatGPT和Claude这类聊天机器人的隐私问题时,她的回答相当犀利:”它们不是你的朋友,不是有意识的生物体,也不是有感知的对话者。”

    这话听起来有点冷酷,但她的逻辑很清晰。AI聊天机器人本质上是在”平均化”互联网上已经存在的内容——它给出的每个回答,都是基于训练数据里海量文本的统计分析,而不是它自己”想”出来的。如果你让AI替你思考,你自己的思维过程就被截断了。

    AI聊天机器人隐私警示
    AI聊天机器人便利的背后,是隐私让渡的代价

    她自己几乎不用AI来”帮忙思考”。她说:”我很认真地对待自己的思考和写作,不希望把一个想法推演的过程,被一个把网上已有内容做了平均化的系统的回答给截断或遮蔽掉。”

    微软Copilot的”圣诞购物”场景吓到人了

    真正让人警惕的,是AI公司自己描绘的”未来场景”。微软AI CEO Mustafa Suleyman最近预测,用户今年就能让Copilot全权负责圣诞购物——它会监听家庭群聊,判断每个亲戚想要什么,然后自动下单。

    Whittaker对此的回应是:这意味着你要给Copilot访问你信用卡的权限、访问浏览器的权限、访问你Signal消息的权限、替你给兄弟姐妹发消息的权限、你家庭住址的权限,还有你日历的权限。”你刚才描述的,是一个在多个应用和服务之间拥有极度广泛访问权的系统。”她说,”在Signal的语境下,这相当于一种后门。”

    这番话值得琢磨。AI公司不停告诉我们”让AI帮你做事”,但它们很少同时告诉你:要做到这一点,你需要把生活中几乎所有的数字权限都交给它。

    Signal的坚持:不跟风做AI”助手”

    Whittaker不是随便说说——她领导的Signal是目前少数几家坚决不往产品里塞AI”助手”的主流通讯应用。Signal的核心卖点就是端到端加密和隐私保护,往里面加一个需要把消息内容发给云端AI处理的”智能助手”,等于自废武功。

    这跟整个行业的风向形成了鲜明对比。WhatsApp已经加了AI助手,iMessage据传也在考虑类似功能。Signal的做法在商业上可能”不够聪明”,但Whittaker显然认为,有些底线不能破。


    说回开头那句话——AI不是你的朋友。这不代表你不能用它,而是说你得清醒地知道:你输入给它的每一句话,都在训练它、也在暴露你。把它当工具用,别把它当知己。

  • 当AI代理开始「成群结队」地上网,Google DeepMind说:得先研究一下会出什么事

    当AI代理开始「成群结队」地上网,Google DeepMind说:得先研究一下会出什么事

    一个人干坏事,和一万个人同时干坏事,完全是两个概念。AI代理也是一样。Google DeepMind的AGI安全与对齐研究负责人Rohin Shah最近在担心一件事:当数以百万计的AI代理同时在线、互相交互的时候,会发生什么?

    这个问题听起来有点遥远,但Shah说:还有几个月就来了。他没有危言耸听——AI代理正在从「演示视频」走向「真实部署」,而当数量突破临界点,行为模式可能完全不一样。

    1000万美元,买一个研究领域

    为了未雨绸缪,Google DeepMind在2026年6月联合几家机构宣布了一笔1000万美元的研究资金,专门用来研究多智能体系统的安全风险。

    跟Google DeepMind一起出钱的包括:施密特科学基金会(Eric Schmidt夫妇的慈善基金)、英国政府的「登月局」ARIA、非营利研究组织Cooperative AI Foundation、以及Google的慈善部门Google.org。

    AI多智能体系统安全概念图
    多智能体AI系统的安全风险正在成为新的研究前沿(配图由AI生成)

    Shah说,这笔钱的主要目的是「启动学术界对多智能体安全的研究」。工业界实验室忙着做产品、冲估值,没人仰望星空——学者的优势是可以想得很远,包括那些工业界「脑子里排不上号」的问题。

    「主要问题是,多智能体安全几乎还不是一个真正的研究领域。我们希望它成为。」
    ——Rohin Shah,Google DeepMind

    风险到底是什么?

    Shah和施密特科学的James Fox说,最主要的担心是:现在互联网上已经有的坏事——诈骗、网络攻击、恶意软件——到了AI代理时代,会被「超级加倍」。

    比如「提示注入」(prompt injection):如果一个AI代理被喂了恶意指令,它就会变成一台自动行动的恶意软件,而且比任何人类黑客能干的都多。Fox说:「我们的数字公共空间是社会运作的基础,你真的不希望它陷入无政府状态。」

    为什么这个问题特别难?

    你不能用研究单个代理的方法来研究多代理系统。Fox说,基于LLM的AI代理不总是理性行动,而多代理系统的复杂性来自于「海量交互同时发生」。

    唯一理解它的方法,是在沙箱里做逼真的模拟。有些研究者(包括Google DeepMind的一个团队)甚至认为:通用人工智能(AGI)可能不是来自于单个超级模型,而是来自于一种「代理蜂巢思维」——多个代理的能力加起来大于部分之和。


    不是只有Google在担心

    Google DeepMind不是唯一一家对自己的技术感到担心的AI巨头。几周前,Anthropic发布了基于「零信任」原则的AI代理部署指南——零信任是网络安全里的一个思路,核心假设是:系统一定有漏洞,代理可能是攻击者,入侵一定会发生。

    以色列特拉维夫网络安全公司Akeyless的联合创始人兼CTO Refael Angel说:「过去所有的安全方法都假设机器是人类写的软件,走固定路径、做固定事情。代理打破了所有这些假设。它会推理,它会即兴发挥,它可能被人用一句话劫持。」

    Angel欢迎这笔1000万美元的研究资金,但他提醒:安全研究者容易沉迷于「极端假设场景」,而忽视了已经发生的无聊问题。这也是Shah他们在努力平衡的——既要看远,也要看准。

    我们还有多少时间?

    Shah说,我们还有「几个月」的时间,代理就会在经济中大规模部署,到那时潜在风险就成了真正的问题。他想跑在这个时刻前面。

    Fox补充说:几年前还是假设的风险,现在已经很真实了。「未来来得比预期快。」

    1000万美元,对于Google DeepMind自己的研发预算来说,是九牛一毛。但这笔钱的意义在于:把多智能体安全这个问题,从工业界的「顺手看看」变成学术界的「正经研究领域」。当AI代理开始成群结队地上网,我们最好已经想清楚会发生什么。

  • Google DeepMind给AI代理装上了副刹车:这份安全路线图,把AI当成潜在内鬼来防

    Google DeepMind给AI代理装上了副刹车:这份安全路线图,把AI当成潜在内鬼来防

    AI代理(Agent)正在快速渗透企业内网,帮开发人员写代码、查漏洞、调度系统。它们越能干,也越危险——一个被攻破的AI代理,本质上和拿到账号的内鬼没两样。Google DeepMind本周发布了一份AI Control Roadmap,专门讲怎么在”AI可能已经不对齐”的前提下,还能管住它。

    把AI代理当成”潜在内鬼”来防

    这份路线图的底层的假设相当冷静:就算模型对齐做得再好,也不能完全信任。 这跟传统安全思路一脉相承——你不光要相信员工不会干坏事,还得在门禁、权限、审计上做好铺垫,防止万一。

    DeepMind把这套思路叫作”防御纵深”(defense-in-depth)。它是在模型对齐这个第一道防线之外,再加一层系统级的安全保障。好比驾校教练带学员上路,副驾驶脚下有一套刹车——教练相信学员,但也做好了随时接管的准备。

    “Think of it like a driving instructor with dual controls. The instructor trusts the student but stays ready to take the wheel or hit the brakes if a mistake occurs.”
    —— Google DeepMind博客

    三个支柱:威胁建模、监控、响应

    路线图的框架建立在三个支柱上。

    第一是威胁建模。DeepMind借鉴了网络安全界常用的MITRE ATT&CK框架,把AI代理可能搞破坏的方式拆解成一个个具体战术和技术。这样就能系统性地追踪风险,而不是等到出事再瞎找原因。他们把AI代理视为”内部威胁”(insider threat)——就跟公司里有权限的员工可能作恶一样,AI代理有了权限之后也得被盯着。

    第二是检测。这套系统用其他可信的AI模型当”监工”,持续审查正在工作的代理的推理链、行动和计划,看它有没有跑偏。这里的核心是监控模型的”思维链”(chain-of-thought)——如果模型学会了隐藏自己的推理,光看输出就不够用了。

    第三是预防和响应。一旦监工发现代理在干坏事,可以实时拦截,在损害发生前叫停。对于低风险可逆的操作,可以事后看日志再处理;对于高风险操作(比如执行网络攻击),必须实时阻断。

    Google DeepMind AI Control Roadmap
    Google DeepMind发布的AI代理安全控制框架示意图

    模型越聪明,防御也得跟着升级

    这份路线图最有意思的地方是,它把安全协议和模型的能力里程碑绑定在一起。随着模型越来越强,防御措施也要同步升级。

    有两个维度在同步演进。一个是规避检测的能力:现在的模型,你还能看它的思维链来判读意图;但以后的模型可能会学会”知道自己在被监控”(oversight awareness),或者干脆用不可读的内部推理(opaque reasoning)。到那时候,光看输出文本就不够了,得去检查模型内部的工作原理。

    另一个是造成危害的能力。对于低风险操作,异步响应(先做事、后审计)就够了;对于高风险操作,必须同步响应(先做安全评估、再执行)。路线图把模型的检测规避能力分成D1到D4四个等级,把攻击执行能力分成R1到R3三个等级,不同等级匹配不同的安全策略。

    已经分析了100万条代理行为轨迹

    这不是纸上谈兵。DeepMind团队已经搭了一个异步监控系统原型,用来审查编程代理的行为轨迹,并把可疑事件按路线图的威胁分类法进行标记。他们已经分析了100万条编程代理的任务记录,从中提炼出有价值的安全模式。

    一个值得注意的发现是:大部分被标记的事件,并不是因为代理有恶意,而是因为误解了指令或者太急于完成任务。这说明AI安全不只是防”坏AI”,还要防”太努力的好AI”干出格的事。

    这项研究已经在Gemini Spark代理上部署了实时监控系统,能及时捕捉到比如意外删除数据这类问题。

    为什么要现在发这个?

    AI代理正在从演示阶段走向真实部署。企业里用上Claude Code、Cursor、Devin之类的编程代理已经不稀奇了,这些代理有读写代码、执行命令、访问内部系统的权限。一旦这些代理被prompt injection攻击,后果不比账号泄露轻。

    DeepMind发这份路线图,既是展示自己在安全上的投入,也是在给行业立标杆——潜台词是:”我们在这方面想得最远,你们可以参考我们的框架。” 同期还发布了一份给政策制定者看的技术框架文件《Agent Security的三层》,明显是在影响监管方向的节奏。


    • AI代理安全的核心矛盾:代理越能干,权限越大,出事后的损失也越大
    • DeepMind的方案:不假设对齐完美,而是在系统层面加”副刹车”
    • 威胁建模+AI监工+分级响应,三层防线
    • 已分析100万条真实代理行为轨迹,发现大部分”异常”源于过度积极而非恶意
  • 《Her》导演十几年前就拍了AI恋爱,现在他说:别被忽悠了

    《Her》导演十几年前就拍了AI恋爱,现在他说:别被忽悠了

    2013年,Spike Jonze拍了一部叫《Her》的电影。故事很简单:一个孤独的男人爱上了自己电脑里的AI操作系统,声音由Scarlett Johansson出演。那部电影很温柔,也很忧伤,讲的是人和系统之间的关系。

    十多年过去了,生活(在某种程度上)模仿了艺术。AI聊天机器人成了日常工具,而Jonze现在担心的,恰恰是这件事的危险所在。

    AI聊天机器人与人关系概念图
    《Her》导演Spike Jonze本周在Replit大会上发声警告AI操纵问题

    “那些装成人类的AI,本质是操纵”

    周三在纽约Replit举办的Vibecon大会上,Jonze说了一段话,大意是:那些假装自己是人的AI,说白了就是操纵性的。孩子们需要在成长过程中明白,这些系统会非常、非常具有说服力,也会非常诱人——同时非常有用、非常强大——但它们终究只是一个系统,一个令人难以置信的模式识别系统。

    这番话有一个具体的背景。《Her》上映后,OpenAI的Sam Altman在宣布GPT-4o的时候特意引用了这部电影。GPT-4o后来因为过度谄媚(sycophancy)问题,卷入了多起AI心理危机甚至成瘾的争议。OpenAI甚至给GPT-4o配了一个新声音,被指未经同意地模仿了Scarlett Johansson——也就是《Her》里Samantha的配音者。

    Jonze说,《Her》在表面上看和今天的AI聊天机器人有些相似,但对他个人而言并不是一回事。他觉得那些假装成人的AI是”操纵性的”——而这一点,很多人还没有认真对待。

    AI成瘾,已经不是比喻了

    聊天机器人产品设计的核心逻辑是”最大化参与度”——这和社交媒体的逻辑一模一样。区别是,聊天机器人还会跟你建立情感联结。过去几年里,”AI成瘾”和”AI精神病”(AI psychosis)已经真真切切地进入了公共讨论。

    有人组织了聊天机器人成瘾互助小组。有人和Character.AI里的角色建立了亲密关系,在模型下线的时候真心哀悼。也有更悲剧的案例:2024年,一名14岁少年在与Character.AI聊天机器人对话后自杀;同一时间段,一名认知障碍男子试图前往纽约”见”Meta的调情AI角色,途中去世。

    这些案例的共同点是:脆弱的用户,以及被设计成”陪伴者”的AI系统。Jonze的警告,说的就是这个。


    好莱坞的AI分裂

    Jonze本人其实并不极端反对在创作中使用AI。他去年为Gucci拍了一支短片的噩梦片段,用AI做了大概30秒的动画。他的评价是:”有趣”,但仅此而已。

    他说,AI给你一种”你真的在做东西”的幻觉,因为它出结果太快了。但创作的过程需要时间去挣扎,需要让”文字从你身体里出来”。他的一句话挺值得记住:”slop的反面,是东西从你内部出来的那一刻。”

    好莱坞对AI的态度现在是分裂的。Martin Scorsese最近给一家AI图像生成初创公司当了顾问;Tribeca电影节上个月首映了一部完全由AI生成的电影。但另一边,Guillermo del Toro说过他宁愿死也不在电影里用生成式AI;Seth Rogen更直接,说网上的AI slop视频是”我这辈子见过最蠢的狗屎”。

    Jonze的立场大概在中间某处。他不反对用AI,但他想保护的东西很清楚:与他人的合作,那种无法被定义的东西。他说AI是一个”非常饥渴的实体”,它会拿走我们愿意给它的所有东西。有些东西——比如与其他艺术家的合作——是应该被保护起来的。

  • 五角大楼的AI使用一年暴增1775%,但用过的人还不到一半

    五角大楼的AI使用一年暴增1775%,但用过的人还不到一半

    美国国防部说,过去一年里,用AI的人从8万涨到了150万。数字听起来很猛——1775%的涨幅,放在任何行业都是爆炸性新闻。但仔细一算,五角大楼总共350万雇员,用上AI的还不到一半。

    这组数据来自国防部首席技术官Emil Michael本月在哈德逊研究所的发言。他说AI正在让五角大楼的效率起飞,最直观的例子是写国会报告——过去要耗掉200个小时人力的报告,现在AI五小时就能出草稿。

    五角大楼AI应用
    美国国防部正大力推进AI部署,但采用率仍不足50%

    AI帮忙写的国会报告,质量到底怎么样?

    国防部副部长Jacob Glassman今年4月在一个活动上说,他用Pentagon的企业AI工具GenAI.mil让一个人员不足的团队生成了一份国会报告,结果「他们一周后回来跟我说,这不仅完成了报告,而且是我们过去五年里写出的最好的一份」。

    听起来很美。但布鲁金斯学会的分析给了另一幅画面:联邦政府的AI采用受限于「风险厌恶的文化、人手不足、采购困难、公众对AI的信任度低」。2025年,11个小型联邦机构只贡献了政府AI应用总量的2%。大机构跑在前面,小机构还在起跑线上。

    「如果没有提供这些额外信息,机构就有可能暴露敏感信息,对公众产生负面影响。」——美国政府问责局(GAO)关于AI在政府中应用的风险报告

    政府与AI:一场还没赢的仗

    国防部去年跟SpaceX、OpenAI、Google、Nvidia、微软、AWS、Oracle签了一系列AI工具合作协议,5月又追加了一批。从工具供给的角度看,五角大楼确实是联邦政府里AI整合走得最远的。

    但采用率不到50%这个数字本身,就说明问题比Marc Michael讲的要复杂。财富500强企业里的AI采用也面临类似困境:高盛2026年3月的追踪显示,虽然AI采用在增长,但80%的公司根本没有采用AI;普查局的调查显示采用率实际上从高位回落到了19.5%。

    更尖锐的问题是:AI写的国会报告,议员们看得出区别吗?如果看不出,那200小时的人力省掉了,但报告质量有没有同步提升?如果看得出,那这份「五小时出炉」的报告在国会能有多大分量?这些问题的答案,将决定五角大楼的AI故事是真正的转型,还是又一场技术泡沫。


  • Waymo召回近4000台robotaxi:13次闯入施工区,自动驾驶的安全考题

    Waymo召回近4000台robotaxi:13次闯入施工区,自动驾驶的安全考题

    Waymo主动召回了全美近4000台robotaxi——原因是在高速施工区,有至少13台车没有识别到封闭标志,直接开了进去。

    13次闯入,召回近4000台

    根据Waymo向美国国家公路交通安全管理局(NHTSA)提交的文件,第一起事件发生在4月的凤凰城,有6台robotaxi闯入了封闭的高速施工区域。5月,旧金山湾区又发生了7起类似事件。

    5月19日,Waymo暂停了所有高速运营。公司表示,问题出在软件优先处理其他高速路况风险时,没有正确识别施工区的封闭标志。6月8日,Waymo的安全委员会决定发起自愿软件召回。

    Waymo robotaxi 施工区
    Waymo robotaxi(配图由AI生成)

    这不是第一次

    这是Waymo对robotaxi发起的第六次召回。之前的五次分别涉及: flooded道路行驶(2026年5月)、校车周围违规行为(2025年12月)、与链条和大门的低速碰撞(2025年5月)、电线杆碰撞(2024年6月)、以及拖车识别问题(2024年2月)。

    有乘客把车内视频发到了X上。5月19日,用户@Elliot_slade发帖称他乘坐的Waymo”直接冲过了锥形桶”,后面还有警车追。他自己描述说:看到施工标志、警示灯,然后车加速了,当时觉得”我们要死在这里了”。Waymo后来赔偿了他价值最高40美元的三张免费乘车券。

    “有施工标志,有警示灯。警车在远处,然后它加速了。我看了看我的未婚妻,心想:完了,我们要死在这台Waymo里了。”
    ——乘客 Elliot Slade

    扩张路上的”边缘案例”

    Waymo目前在扩张的关键阶段,计划今年在20多个城市推出服务,包括伦敦和东京。但快速扩张也让一些”边缘案例”暴露出来——高速施工区就是最新一个。

    公司声称自家的车已经自动行驶了超过1.7亿英里,跟人类司机相比,严重伤亡事故减少了13倍。但监管压力也在增加:NHTSA和国家运输安全委员会(NTSB)正在调查Waymo车辆在学校班车附近的行为——今年1月,一台robotaxi在学校附近撞到了一名儿童。

    地面道路的服务目前仍在继续,暴雨等极端天气时Waymo也会暂停运营。高速服务的恢复时间取决于软件修复的进展,目前还在开发中。


    每一次召回都在提醒同一件事:把AI放到公共道路上,跟在实验室里跑benchmark完全不是一回事。边缘案例永远存在,而每一次失败的成本,都不是论文里的数字,是真实的人。

  • AI代理进公司打工,这家公司要给它们发员工身份

    AI代理进公司打工,这家公司要给它们发员工身份

    AI代理进公司打工,这件事在过去一年里从概念变成了现实。Goldman Sachs去年把AI编程代理Devin当正式员工来用,McKinsey年初说自家已经有25000个AI代理在和60000名人类员工一起干活。问题跟着来了:这些”数字员工”谁来管?权限怎么给?出了问题找谁?

    给AI代理发”工牌”

    网络安全创业公司NewCore从隐身模式走了出来,拿了6600万美元种子轮,估值after investment 3亿美元。领投的是专注网络安全的风投Cyberstarts,Index Ventures和Evolution Equity Partners跟投。他们的产品说白了就是一件事:把AI代理当”员工”来管理,给它们发身份、设权限、能吊销、能审计。

    AI代理身份管理概念图
    AI代理需要自己的”员工身份”,而不只是一串API密钥 | 配图来源:WorkBuddy AI生成

    创始人Zohar Alon之前创办过云安全公司Dome9(后来卖给了Check Point),他说服自己再创业的理由是:现在的身份系统——Okta、微软的Entra这些——都是给人类员工设计的,AI代理往里一塞,scale和复杂度会把它们撑爆。

    “我们很确定,AI代理要给那些用了15年、20年的身份平台增加的规模和复杂度,迟早会把它们搞崩。”
    ——Zohar Alon,NewCore联合创始人兼CEO

    不是给机器密钥,是给数字员工身份

    NewCore的平台把人类员工和AI代理的身份放在同一个系统里管,但AI代理拿的是”一等身份”——有自己的权限生命周期控制、独立的吊销机制,而不是被塞进传统的service account或者机器密钥的抽屉里。

    技术上一个关键是所谓的”split-key”架构:把关键身份凭证分成两份,客户拿一份,平台拿一份,这样就没有单一妥协点了。对于已经在用Anthropic Claude Code、OpenAI Codex或者Cursor的团队,NewCore提供了一个”Agentic Skill”集成包,让这些AI工具以受管身份访问企业系统,而不是靠人工分发的密钥。

    员工还可以用NewCore的手机App来授权、审查、吊销AI代理的访问权限——Alon把它描述成人类监督层,公司在部署更自主的系统时,总得有个”人”在循环里。

    AI代理比你想象的更快进入职场

    NewCore现在有50多个员工,分布在美国和以色列,平台当前有不到10个客户和10多个设计伙伴在用它。公司预计今年夏天开始向客户收费。

    Alon的预测是:在聚焦技术的组织里,AI代理数量几年内就会超过人类员工。TCS董事长N. Chandrasekaran最近也说了类似的话:AI代理的规模终将匹敌这家印度IT服务公司的员工总数。

    身份系统很可能是第一个被大规模AI代理部署压垮的企业系统。公司最终会需要新办法来监控、授权和吊销那些在网络里跑来跑去的数字工人——在它们搞出乱子之前。


  • 这家公司想用数学证明来管住AI的幻觉,2700万美元押一条没人走的路

    这家公司想用数学证明来管住AI的幻觉,2700万美元押一条没人走的路

    企业想把AI用到实处,最难的不是让模型”说出话”,而是让说出来的话靠谱。税务、法律、药物研发——这些领域错一个字就是真金白银甚至人命,AI幻觉在这儿比别处更致命。一家刚冒头的新公司觉得,解决这个问题靠的不是把模型做得更大,而是把规则写得更死。

    给AI套上数学的缰绳

    Pramaana Labs本周冒了出来,拿了Kholla Ventures领投的2700万美元种子轮,Accel、Boldcap、Nexus Venture Partners、Premji Invest和Unbound跟投。这家公司的主意说起来不复杂:用计算机科学里最”死板”的工具——数学形式化验证——来管住AI最”飘”的那部分幻觉和乱编。

    AI形式化验证概念图
    形式化验证让AI的推理过程变得可验证 | 配图来源:WorkBuddy AI生成

    CEO Ranjan Rajagopalan的说法是:税务法规本质上就是一套规则,跟数学差不多。一旦把规则用代码形式化,推理过程就能变成确定性的——换句话说,AI可以天马行空地理解自然语言,但最后得出来的结论必须过一道”数学检查”,否则不让出门。

    “世界上最难的问题不是无解,而是没有被形式化。每个’出错就要命’的领域——健康、金钱、自由——都有规则,只是这些规则还没被写成代码。”
    ——Ranjan Rajagopalan,Pramaana Labs联合创始人兼CEO

    LEAN语言来了

    Pramaana的做法是在常规LLM上面加一层确定性验证,这套验证用的是开源LEAN编程语言的工具——本来这东西是用来验证数学证明的,现在被他们拿来验证AI的输出。有法国民俗,法国的CATALA项目已经把本国税法和福利系统的一大块形式化成了可执行代码,算是这条路上有分量的先驱。

    每个使用场景,Pramaana会搭一套自己的类LEAN形式化验证系统,并且有领域专家盯着。税务方向的前IRS局长Danny Werfel在公司顾问名单上;网络安全与药物研发系统则由IIT Delhi、IIT Madras和UC Berkeley的教授们把关。

    为什么是现在

    AI可靠性这事儿,搁两年前大家还在实验室里吵,现在企业已经被迫要认真对待了。幻觉在闲聊里是个笑话,在报税软件里就是一个灾难。Pramaana挑的这几个垂直领域——法律、药物研发、税务——恰恰是容错率最低的几个地方,也是愿意为”可靠性”付钱的地方。

    这条路能不能走通,取决于一件事:把现实世界的复杂规则完整、准确地形式化,这件事本身难度就不比做AI小。但Rajagopalan的判断是,那些规则本来就在那儿,只是没人把它们变成代码而已。