标签： AI安全

美国总统特朗普本周二签了一份行政令，要求AI公司在模型正式发布前，可以自愿把模型提交给联邦政府审查。说自愿，是因为企业可以自己决定交不交，但一旦交了，政府会评估模型的高级网络能力，企业这边也能拿到相应的保密保护。

之前说不监管，现在为什么改主意了

特朗普对AI监管的态度转变挺有意思。他之前一直主张不让监管扼杀创新，甚至一度推迟签署AI相关行政令，理由是怕影响美国跟中国的AI竞争。结果这次的行政令写得挺明确：AI的新能力确实伴随安全风险，政府不能装看不见。

触发这次转向的直接原因，很可能是Anthropic在今年4月有限度发布的Mythos模型。Anthropic自己说，这个模型发现了数千个高危漏洞，主流操作系统和网页浏览器全都中招。这话一出，华盛顿那边坐不住了。

Anthropic的Mythos模型在测试中发现：所有主流操作系统和网页浏览器都存在高危漏洞——这话是Anthropic自己说的，不是政府说的。

更有意思的是，Anthropic之前跟五角大楼因为AI用于自主致命武器和大规模监控的问题闹过法律纠纷。这次Mythos一发布，双方关系反而出现了缓和迹象。有时候，一个技术演示比十轮谈判都管用。

行政令到底说了什么

• 企业可以自愿提交模型，提交后最多30天内完成审查
• 审查聚焦模型的高级网络能力，不是全面安全审计
• 提交企业获得保密保护，政府不会随意公开模型细节
• 联邦政府同步强化针对AI攻击的网络防御，重点保护关键基础设施
• 行政令明确：这不是强制许可，也不是发布前审批

---

这份行政令其实有个前传。去年5月，谷歌、微软、xAI就同意让美国商务部下属的AI标准与创新中心（CAISI）在模型发布前做审查。OpenAI和Anthropic更早，2024年拜登还在任的时候就签了类似协议。所以特朗普这次，某种程度上是把拜登时期的实际做法给正式化了，只是换了个”自愿”的名义。

行业买账吗

出乎意料的是，这份行政令居然获得了AI安全倡导团体的认可。美国负责任创新组织的主席布拉德·卡森发表声明说，”白宫正式接受了Mythos传递的信号”。安全AI联盟的CEO也表示，很高兴看到特朗普政府认真对待模型风险。

但这帮人并不满足于自愿框架。他们还在敦促国会立法，把这些保护措施变成强制要求。自愿这个东西，换了届政府就可能不自愿了，他们心里清楚。

5月底，在英国皇家学会举办的人工智能安全国际对话（IDAIS）第五届会议闭幕式上，图灵奖得主姚期智、Yoshua Bengio，清华大学智能产业研究院院长张亚勤，加州大学伯克利分校教授Stuart Russell等全球顶尖AI科学家，共同签署了一份《IDAIS伦敦宣言》。

技术能力有限的非国家行为体，将在一年内掌握部分国家级网络攻击手段。全球社会目前远未做好应对这一紧迫威胁的准备。

这不是第一次，但这次份量不一样

IDAIS这个会议系列，2023年由姚期智、Yoshua Bengio、张亚勤、Stuart Russell四个人联合发起，已经跑了五届：牛津、北京、威尼斯、上海，这一届到了伦敦。

为什么这份宣言值得认真看？因为签字的人不只是学者，他们本身就是各国AI安全政策的顶层智囊。姚期智主导中国AI治理顶层设计，Yoshua Bengio起草过联合国AI报告，Stuart Russell的著作《Human Compatible》几乎是AI安全领域的必读书。这帮人联合发声，等于给各国政府递了一张时间表。

---

宣言到底说了什么

整份宣言的核心逻辑很直接：AI能力正在让”国家级攻击能力”向下溢出，从国家行为体流向非国家行为体——恐怖组织、黑客团体，甚至个人。

具体说了两个最紧迫的风险领域：

• 网络攻击：前沿AI已经能在数小时内完成专业团队需要数周的攻击性操作。关停医院、供水系统、电网、金融市场的攻击工具，正在落入远超以往的人群手中。
• 生物滥用：AI在病原体设计相关任务上已经超越博士级专家。能设计比自然界更危险的人造病原体的能力，正在向非专业人员扩散。这不只是理论风险——宣言明确说”可能在未来造成大规模伤亡”。

宣言还提了一个更深层的问题：逐步走向自主化的AI系统，本身就可能失控。这不是科幻，是工程现实。

---

各国政府现在该做什么

宣言给出了具体措施清单，不是泛泛而谈。针对网络攻击，优先级最高的几件事：

• 保护关键基础设施——电网、医院、供水系统，这些是第一批会被打的目标
• 建立前沿AI系统网络攻击能力评测体系——现在连”多强才算危险”都没有统一标准
• 部署前强制测试——对具备高级网络能力的模型，不能先发布再治理
• 访问控制——不是所有人都能调用最强模型，需要身份验证
• 跨国信息共享——网络威胁指标需要像金融制裁名单一样跨国流通

生物领域同理，但多了一层：核酸合成筛查。也就是说，以后买合成DNA，供应商要筛查序列是否与危险病原体匹配。这已经在部分国家推进，但远未形成全球标准。

---

中国和美国被点名了

宣言有一句话很克制但很明确：”主要人工智能司法管辖区在协调方面负有特殊责任。这尤其包括美国和中国。”

这是一个现实判断，不是政治表态。全球最强的大模型公司和最强的算力都在这两个国家手里，没有中美协同，任何AI安全协议都是空话。但中美同时在AI领域激烈竞争，协同治理怎么落地，这是下一个大问题。

宣言也提到了一个历史类比：切尔诺贝利事故之后，全球民用核能发展被阴影笼罩了数十年。AI如果出一次大规模安全事故，公众信任崩塌的后果，可能比任何技术监管都更致命。

上周末，Reddit和X上突然冒出一大批”账号被黑”的投诉帖，受害者全是Instagram用户。被盯上的账号五花八门——有奥巴马时期白宫那个早已停用的账号，还有美国太空军总军士长的个人账号。安全研究员Jane Wong也中招了，她在X上吐槽：密码在她完全不知情的情况下被改掉，前一天她还收到一大堆密码重置尝试的请求，想想都觉得后怕。

漏洞到底出在哪

攻击手法说起来挺荒唐的。黑客不需要偷你的密码，不需要碰你的邮箱，只要想办法骗过Meta的AI客服机器人就行。

具体步骤是这样的：黑客先用VPN伪装成目标用户的大致地理位置，避免触发Instagram的异地登录保护。然后找到Meta AI支持助手，跟它说”帮我给这个账号加个新邮箱”。AI机器人居然真的照做了——它会把验证码发到黑客指定的邮箱，黑客把验证码回传给机器人，机器人就会弹出一个”重置密码”按钮，输入新密码，账号直接沦陷。

黑客全程不需要碰你绑定的原始邮箱。AI客服机器人自己就把门给打开了。

影响范围有多大

目前还不清楚究竟有多少账号被这套手法攻破。Instagram发言人Andy Stone在X上回复相关帖子时只说”问题已经修复”，但对受影响用户数量闭口不谈。Meta方面也没有回应TechCrunch的置评请求。

这件事暴露出的问题很直接：把账号恢复权限交给AI聊天机器人，却没有设置足够严格的身份验证门槛，等于在城门上挂了把纸锁。黑客不需要多高深的技术，只要会跟AI”好好说话”就够了。

---

AI 安全，这次是顶尖科学家自己站出来了

四月十七日到十九日，四个图灵奖得主凑在一起，在英国皇家学会开了三天会。这件事本身就不太寻常——Yoshua Bengio、姚期智、Stuart Russell、张亚勤，这四个名字任何一个单拎出来都够开一场主旨演讲，现在他们坐同一张桌子旁边，讨论的是同一件事：人工智能驱动的攻击行为，社会有没有准备好。

这场活动是”人工智能安全国际对话”（IDAIS）的第五场。这个机制是 2023 年成立的，之前走过了牛津、北京、威尼斯、上海，这一站放在伦敦，本身就有信号意义——英国在 AI 安全治理上一直想当”中间人”角色，既不完全跟美国走，也不站中国这边。

按照当前的技术演进速度，资源极为有限的非国家行为体——从有组织团体到独狼式个人——有望在一年内掌握部分国家级网络攻击手段。

声明里写了什么，为什么现在发

这份在伦敦签署的共识声明，核心警告可以浓缩成两句话：AI 正在让”搞破坏”的门槛降得比以前低太多，而全球社会还没准备好应对这个变化。

声明具体点了两大风险领域。第一个是 AI 赋能的网络攻击。前沿 AI 系统现在已经能在数小时内完成专家团队需要耗费数周才能完成的编程工作，包括发现并利用主流操作系统和浏览器的漏洞。曾经只有资源充足的国家行为体才能搞定的复杂攻击，现在正在以远超以往的速度落入远为广泛的人群手中。

第二个风险领域是生物滥用。前沿 AI 系统在与病原体设计相关的任务上已经超越博士级专家，使得较低层级的生物能力逐步进入非专业人士的可及范围。声明特别提到：能规划并协调多步骤实验室任务、还能协助构建新型专用生物 AI 模型的智能体，会进一步放大这个风险。

两大风险领域，声明给出了哪些应对方向

针对网络攻击风险，声明提出了几个优先事项：保护关键基础设施、建设对前沿 AI 系统网络攻击能力的评测能力、要求开展部署前测试并在必要时延迟更广泛的开放、对具备高级网络能力的前沿 AI 系统实施访问控制、建立信息共享与漏洞披露机制。

针对生物滥用风险，声明同样给出了优先事项：强化 AI 防护措施以应对高危生物滥用、对前沿闭源模型采取拒答训练和可信访问控制、对前沿开放权重模型开展预训练数据过滤、建设对前沿 AI 系统生物能力提升的评测能力、在核酸合成筛查方面开展国际协调。

这些措施听起来都很”应该”，但声明本身也坦承：目前的防护手段”远远不够”，基础性的技术与社会防御体系”仍处于萌芽阶段”，且在各司法管辖区之间部署极不均衡。

中国和美国，都被点名了

声明有一段话值得单独拎出来说：”主要人工智能司法管辖在协调方面负有特殊责任。这尤其包括美国和中国，以及其他在人工智能开发、部署和评估方面具有重要能力的司法管辖区。”

这是一份国际科学声明直接点名中美两国在 AI 安全治理上的特殊责任。过去类似声明往往泛泛而谈”国际社会应当……”，这次写得相当具体。

Yoshua Bengio 一直是 AI 安全领域最敢说的顶尖科学家之一。他牵头起草的《国际 AI 安全报告》在 2025 年发布，当时就有不少政府官员觉得”写得过于直白了”。这次 IDAIS 伦敦宣言的措辞同样相当直接，没有太多外交辞令。

声明最后还有一段类比，值得所有 AI 从业者认真读一读：”一场严重的人工智能赋能灾难不仅会造成巨大的直接危害，更会摧毁公众对人工智能系统的信任，并使人工智能本可带来的重大社会效益付诸东流。切尔诺贝利事故重创了全球核工业，至今仍让民用核能蒙上阴影，尽管现代反应堆设计已安全得多。”

把 AI 安全风险和切尔诺贝利相提并论——这份声明的分量，可能比很多人第一眼看到的要重得多。

---

AI智能体这事儿，终于从”能聊”变成”能干活”了

2026年有个明显的变化，AI不再只是坐在那里跟你聊天、回答问题，而是开始真正动手干活。这个转折点是个叫OpenClaw（龙虾）的开源AI代理框架，它的出现让整个行业都坐不住了，百度、阿里巴巴、腾讯、字节、智谱、月之暗面这些巨头公司一下子全都冲了进来。

就在这个节骨眼上，5月份国家网信办、国家发展改革委、工业和信息化部三家联合印发了《智能体规范应用与创新发展实施意见》，给这个新兴领域立了规矩。

智能体到底是个啥？

按官方说法，智能体是”具备自主感知、记忆、决策、交互与执行能力的智能系统”。说人话就是：以前的大模型像个只会纸上谈兵的军师，你问它啥它都能跟你掰扯半天，但真要它动手干活，它就傻眼了。

现在的智能体不一样，它能看屏幕、点鼠标、自动执行任务。百度创始人李彦宏说得挺直白：”智能体出圈了，第一次，AI的主角不是模型，而是应用。过去几年竞争核心是模型能力，现在用户真正买单的是’你能不能帮我把事做完’。”

衡量一个AI平台有没有戏，李彦宏提出要看DAA（日活智能体数），而不是DAU（日活用户数）。意思是，有多少Agent在给人类干活并交付结果，这才是真实的价值。

技术底座：从”大脑”到”执行”

要让智能体真正能干活，光有个”聪明的大脑”不够，还得有完整的感知、规划、执行、验证链路。月之暗面（Moonshot AI）的Kimi就是个典型例子，他们自研了大语言模型，总参数量达到1万亿，每次推理时激活约320亿参数，配备了384个细粒度领域专家。

这个模型用了MLA多头潜在注意力机制，把显存占用降到了传统架构的1/8，还引入了多Token预测目标来提升生成效率。这些技术细节听着枯燥，但实际效果就是：智能体能处理更长、更复杂的任务，而且不容易”掉链子”。

科研场景：从翻遍文献到一键出报告

《实施意见》里列出了19个智能体典型应用场景，科学研究排在第一位。2025年7月，上海交通大学和深势科技推出了通用科研智能体”SciMaster”，这个东西能干嘛呢？

你扔给它一个科学问题，比如”分子动力学在药物筛选中的典型流程是怎样的？”，它能把问题拆成多个子任务，全网搜文献、整合资讯、数据、论文、专利，最后给你生成一份能落地的深度调研报告。

在药物研发领域，智能体能把跨靶点的研究证据整合进知识图谱；在新材料领域，像电解液、固体电解质有机合成这些方向，也有智能体研发辅助产品。据湘汉智库的研究报告，智能体已经深度渗透材料化学、基因组生物信息、生物医学健康等核心科研领域。

电商场景：”一句话点外卖”成真

今年初，淘宝闪购跟千问智能体打通了。5月11日，千问与淘宝全面打通，这标志着全球超大规模电商平台与智能体应用的深度融合。

现在你可以直接跟智能体说”帮我点杯咖啡，不加冰”、”两份米线，其中一份加辣不要豆芽”，它能自动识别你的意图、位置和偏好，然后推荐可下单的商品。这个合作已经覆盖了全国300多个地级市和超过3000个区县，品类涵盖餐饮外卖、超市便利、生鲜蔬果、鲜花绿植、医药健康、手机数码等等。

有个挺有意思的细节：AI在帮忙选品时，还可能做出”劝退”动作。比如你试图让智能体买个”量子水杯”，它可能会直接给你科普一波，告诉你这玩意儿不靠谱。这种”反销售”功能，倒是挺接地气的。

金融和教育：秒读财报、梳理文献

以前券商研究员做行业研究，得泡在海量研报、财报、新闻里，翻遍资料，2-3天才能攒出一份初稿。现在把研究主题丢给Kimi，它立刻自动全网检索、逐页精读财报、提炼核心观点，一气呵成输出结构化分析草稿。原先2-3天的”苦活儿”，现在2-3小时就搞定。

教育领域也是一样，文献”大山”一直是高校师生的头号痛点。现在只需一次对话，智能体就能一口气读完所有文献，自动完成分类归档、提炼核心观点，梳理出包含研究脉络、争议焦点、未来方向的完整综述框架。博士生过去要熬2-3周才能啃完的文献梳理，现在1-2天就能拿出初版，而且内容更全面、更系统。

---

安全问题：智能体也需要”纠偏”

智能体当然不是完美无缺的，”满嘴跑火车”的幻觉问题、决策跑偏、执行掉链子，都是行业面对的难题。为了给智能体”纠偏”，研发端从技术上打响了”精准纠错战”。

深势科技的CTO廖若雪说得很实在：科学场景对于事实的准确性和推理的可溯源性要求极高。首先，智能体的知识需要是结构化的，而不是完全依赖模型去记忆知识；其次，智能体的推理过程也要通过特定算法进行置信度校验；此外还需强调验证，关键的科学论断不能只由智能体自行评估，得通过实际运行结果来验证结论是否真实。

360 AI安全研究院最近发布了《AI安全系列报告》，指出随着智能体加速进入企业办公、研发、运维、客服等核心业务场景，AI安全的核心问题正在从”生成风险”转向”执行风险”。他们提出了两条解决路径：一是用AI加持传统安全防护，提高漏洞发现、入侵研判、样本分析和响应处置效率；二是让不确定性任务在安全约束下执行，让智能体可以做事，但不能越界。

清华大学文科资深教授、苏世民书院院长薛澜认为，《实施意见》通过设定全链条安全要求，系统性预防智能体技术滥用、决策失控等风险，为智能体技术在全社会规模化应用建立必要的安全信任基础。

写在最后

智能体的崛起，既是技术迭代的必然，更是时代发展的趋势。这不是简单的技术升级，而是工作方式、商业逻辑、生活体验的全面重构。政策护航、技术成熟、场景落地，多重力量正推动智能体从行业探索走向深度赋能。

根据《AI智能体赋能行业决策：趋势与实践白皮书（2026）》，智能体在制造、金融、政务等行业的渗透率已经超过50%。这个数字背后，是无数工作场景正在发生的真实变革。