分类: AI资讯

聚焦前沿人工智能动态,速览行业热点、技术突破、产业风向与实用 AI 干货,紧跟科技潮流,第一时间掌握 AI 最新趋势。

  • 诺贝尔化学奖得主跳槽Anthropic,Google DeepMind失去一位核心科学家

    诺贝尔化学奖得主跳槽Anthropic,Google DeepMind失去一位核心科学家

    6月19日,量子化学和AI蛋白预测领域最耀眼的科学家之一John Jumper在X上发了一条帖子,宣布离开Google DeepMind,加入Anthropic。这条消息在AI圈子里炸了锅——一个诺贝尔奖得主,从一方跳到另一方的直接竞争对手,这种事并不常见。

    John Jumper加入Anthropic
    诺贝尔化学奖得主John Jumper从Google DeepMind跳槽至Anthropic

    如果你对AlphaFold没概念,这么说吧——2024年的诺贝尔化学奖,一半颁给了Jumper和DeepMind CEO Demis Hassabis,理由就是他们用AI预测蛋白质三维结构的工作”从根本上改变了化学”。在这之前,科学家要搞清楚一个蛋白质的精确结构,得花几个月甚至几年做X射线晶体衍射。AlphaFold出来之后,输入氨基酸序列,几分钟就能拿到可信的结构模型。

    一个诺贝尔奖得主,为什么要换东家

    Jumper的离开,表面上看是一个科学家换了份工作,但在这个时间点,这件事的意义要复杂得多。首先,Anthropic和Google DeepMind是直接竞争对手。Anthropic出的Claude,和Google的Gemini在同一个赛道上竞争。一个刚拿了诺贝尔奖的顶级研究者,从一方跳到另一方,这不只是在简历上多一行——这是在说,AI领域最顶尖的人才,也在重新选边站。

    有意思的是,Jumper的研究背景和Anthropic的方向其实很搭。AlphaFold本质上是用深度学习解决科学问题,而Anthropic一直在强调”可解释性”和”对齐”——让AI系统的推理过程可以被人类理解。Jumper在蛋白结构预测上积累的方法论,某种程度上就是在做一个”可解释的AI”:你看得见模型预测的结构,你可以拿去和实验数据比对。

    有人说,这次人才流动背后,反映的是AI研究重心的一次转移——从”能力竞赛”到”可靠性竞赛”。Jumper的选择,也许是一个信号。

    当然,Google DeepMind失去Jumper,不等于AlphaFold项目会停摆。DeepMind里还有一大批顶尖研究者。但一个诺贝尔奖得主公开跳槽到竞争对手那里,这件事本身,就已经说明了很多问题。AI人才战争的烈度,可能比我们想象的还要高。


  • 机器人训练数据成了AI新战场,这家公司刚拿了7000万美元

    机器人训练数据成了AI新战场,这家公司刚拿了7000万美元

    做语言模型的时候,你可以把整个互联网的文本喂给AI;但教机器人学会在真实世界里动手,数据就没那么好找了。这正是XDOF(念作”eks-doff”)看到的空隙——6月17日,这家公司走出隐身模式,宣布拿到Thrive Capital、a16z等机构7000万美元融资。

    机器人训练数据概念图
    机器人训练需要大量真实物理交互数据

    创始人的亲身踩坑经历

    联合创始人Philipp Wu在UC Berkeley读博的时候就被这个问题卡住了——想训练机器人基础模型,手里却没有足够的高质量数据。他和后来成为CTO的Fred Shentu做了个叫GELLO的遥操作系统,让人类操作员可以控制机械臂生成训练数据。

    这个项目后来成了机器人圈的高引论文——因为很多实验室都面临同样的瓶颈,大家开始用GELLO这类设备来收集数据。Wu意识到,这背后是个还没人认真做的生意。

    “我们很早就看到语言模型竞赛里落后的后果……你不会想在这个技术领域也追太晚,物理AI是下一个前沿。”Wu对TechCrunch说。

    三层数据金字塔

    XDOF的业务分三个层级来搭建数据管道:最顶层是针对具体部署机器人采集的遥操作数据;中间层是用GELLO这类设备收集更通用的机器人操作数据;底层则是”自我中心视角”数据——让人类戴着穿戴式传感器完成日常任务,记录第一人称视角的动作。

    公司计划在全球招募和培训大批遥操作员和数据采集员。Wu说,这件事需要几十万平方英尺的仓库、成百上千台机器人,还要持续校准和维护设备——大部分AI实验室宁愿外包,也不想自己建这套东西。

    和学术界一起开放数据

    XDOF和UC Berkeley的AI实验室合作,发布了目前规模最大的机器人训练数据集之一,叫ABC——包含13万条机械臂操作轨迹、300小时仿真数据和100小时评估数据。这个发布让学术界第一次能拿到这么大量的预处理好的机器人数据。

    OpenAI在2021年关掉了它的机器人团队,但两周前宣布要重启这个方向。所有前沿AI实验室都在往物理世界发力,而XDOF赌的就是:谁先搞定数据管道,谁就占住了下一个赛道的入口。


  • 《Queer Eye》生活教练把「自己」装进了手机:AI分身帮你健身冥想

    《Queer Eye》生活教练把「自己」装进了手机

    Karamo Brown在Netflix《Queer Eye》里靠鼓劲说话圈了不少粉丝,现在他把这门本事搬进了手机——新应用叫Kē,6月18日刚上线iOS和Android。

    Kē健康应用界面
    Kē应用界面,用户可与AI Karamo对话

    这应用能干啥?健身计划按你家里的器材和日程定制,饮食建议看你冰箱里有啥,冥想视频管你情绪波动。这些功能别的健身App也有,真正让它出挑的是”AI Karamo”——一个用Brown本人声音和数据训练出来的数字分身。

    “我最好的朋友和我妹妹到现在还经常找我的AI分身聊天,当他们联系不上我的时候。”Brown对TechCrunch这么说。

    数字分身是怎么练成的

    背后驱动的是AI创业公司Delphi。他们把Brown历年的访谈、播客、视频片段全部喂给模型,让这个数字分身说话方式、语气、建议风格都尽量贴近本人。(阿诺·施瓦辛格也在Delphi上有自己的数字分身,这事儿比想象中普遍。)

    Brown自己说,刚开始他对AI持怀疑态度,但这几年技术演进让他改了主意——关键是Delphi他们做事的方式让他觉得靠谱。不过他也反复强调:这东西不是用来替代真实关系的,它只是个帮人反思和成长的工具。

    用户隐私和 safeguard

    用AI功能意味着你的对话数据会分享给Delphi——这事得心里有数。Brown说他们有真人团队监督,防止出现安全问题。如果有人拿敏感问题来问,AI会引导ta去找专业资源和现实中的支持。

    订阅费每月14.99美元,三天免费试用。Delphi还计划给Kē加上agent能力——以后AI Karamo给你的健身计划提了建议,它可以直接进”我的计划”那个标签页帮你改好,不用你手动操作。


  • 挪威给校园AI划了三条线:13岁以下禁用,17岁以上才能自由用

    挪威给校园AI划了三条线:13岁以下禁用,17岁以上才能自由用

    挪威校园AI限制政策
    挪威对学校使用AI工具按年龄划分了三条界限

    挪威政府对校园里怎么用AI,给出了一个很细的答案。不是一刀切地禁,也不是放任自流,而是按年龄分了三档。

    新规定将在八月新学年开始时生效。具体来说:一到七年级的学生,也就是6到13岁的孩子,原则上不应该使用生成式AI工具。八到十年级,也就是14到16岁的初中生,可以在老师的监督下谨慎地使用AI工具。十一年级以上,也就是17到19岁的高中生,应该学习适当地使用AI,为继续教育和就业做准备。

    AI让孩子跳过了教育里至关重要的步骤,学校应该专注于教他们”阅读、写作和做数学”。
    ——挪威首相 Jonas Gahr Støre

    不是第一次,也不会是最后一次

    这不是挪威第一次把科技产品请出教室。2024年,挪威禁止中学生在学校使用智能手机,结果被证明相当成功。欺凌事件减少了,成绩提高了,因心理健康问题去心理医生的次数也明显下降了——这些效果在女生身上尤其明显。

    有了前一次的经验,挪威这次对AI的态度可以说是”预防性监管”——在孩子还没大量依赖AI之前,先把规矩定好。

    新规还只是挪威一系列针对年轻人使用科技产品限制的其中一环。挪威政府还在推进一项法案,计划在今年年底前提交议会,禁止所有16岁以下儿童使用社交媒体。这个做法和澳大利亚的思路类似。

    其他国家在做什么

    把视线转到其他地方,挪威的做法目前还是少数派。大多数国家的教育系统在AI面前要么措手不及,要么直接选择放行。

    美国也在讨论类似的限制措施——参议院和众议院一直在审议一份法案,要求AI公司实施年龄验证流程,禁止向未成年人提供AI聊天机器人。这份被称为GUARD法案的提案已经通过了参议院司法委员会,但还没有进入全院投票。

    法案的语言上个月有所软化——最初提出时,针对的是几乎所有AI驱动的聊天机器人,现在改成了只针对”AI伴侣”。批评者认为,修改后的语言可能让公司找到豁免理由——毕竟,”AI伴侣”和”搜索工具”之间的界限并不那么清晰。

    挪威选了一条中间路线

    挪威的选择,给了一个值得观察的样本:当一个国家决定不等了,主动给AI在教育场景的使用划出边界,会发生什么。

    结果要等几年才能看到,但挪威人显然不愿意等。他们看过智能手机进校园之后的变化——有些是好的,有些不是——所以他们选择在AI完全渗透之前,先想清楚规矩。

    这种”按年龄分阶段”的思路,比完全禁止或者完全放开都要复杂,但也可能更贴近现实。13岁以下的孩子确实可能从手写和心算里获得更多;17岁的高中生确实可能需要学会和AI协作,因为他们的下一代工作环境里,AI几乎一定会在那里。


    挪威的这一步,会不会引发其他国家的跟随,现在还不好说。但它至少提出了一个问题:当我们把AI送进教室的时候,我们有没有想过,不同的孩子、不同的年龄,需要的到底是不同的保护,还是不同的训练?

  • 手摇发电就能跑AI?这个离线盒子不需要互联网

    手摇发电就能跑AI?这个离线盒子不需要互联网

    手摇发电AI设备CrankGPT
    Squeeze Labs开发的CrankGPT,完全离线、手摇供电的AI盒子

    想象一下,你在一间没有电、没有网络的森林小屋里,突然想问AI一个问题。正常情况下,这不可能——AI需要庞大的数据中心、持续的电力、云端连接。但Squeeze Labs的一个两人小团队做了一件有意思的事:他们把AI装进了一个手摇发电的盒子里。

    这个项目叫CrankGPT,是一个完全离线、不依赖电网的AI语音助手。整个装置的核心是一块Raspberry Pi 5开发板,配8GB内存和一个散热风扇。没有电池,没有云端,只有一个手摇发电机、一台小电脑,以及一堆在本地运行的小型语音和语言模型。

    为什么要做这个

    Squeeze Labs在项目说明里写了四条动机。第一条,一个东西要”聪明”,目前的前提是它插着墙上的插座、连着数据中心。CrankGPT是一个小小的反驳,证明这两件事都不一定是真的。

    第二条,本地模型是隐私模型,既然不需要,为什么要把自己不想分享的东西给出去?第三条有点意思——他们写道,看到身边的人在把千瓦级电力和成千上万个token砸在那些小模型一样能完成的任务上,这触犯了他们欧洲人对”小型实用车”的审美直觉。第四条更简单:大家都在把东西做大,他们觉得把东西做小也有很多机会。

    手摇发电,AI跑起来

    硬件部分,他们选了Raspberry Pi 5,不是因为它是最强性能的单板计算机,而是因为它的可及性和软件生态很难被打败。Pi上跑着语音识别、语言模型和文本转语音,全部在CPU上本地运行,没有加速器。

    电力部分最有意思。他们选了一款售价不贵的20W手摇发电机,原本是作为应急USB充电设备销售的。Pi的正常工作电流大约1.5A,但当它全力工作的时候,电流需求会大幅上升,导致发电机电压跌到Pi要求的4.8V以下。

    你能通过摇把”感觉”到那个负载曲线:当LLM推理和语音合成一起跑的时候,摇把会明显变沉。

    为了让Pi在完整推理栈启动时不掉电压,他们做了一块定制的电容板,用来平滑发电机的输出,充当一个短时(约20秒)的电力储备。

    软件栈:把大模型塞进小盒子

    软件部分,他们用了DietPi——一个极简的、精简掉的基于Debian的镜像,优先考虑快速启动时间。把不需要的无线电服务关掉之后,从Linux启动到可用用户空间只需要大约3秒。

    语音管线的结构是经典的:自动语音识别(ASR)→ LLM → 文本转语音(TTS)。他们从零开始写了自己的边缘语音代理,优化目标是在RPi级别开发板上尽可能低的延迟。

    LLM部分跑在llama.cpp上。他们偏好的模型是小型的Liquid AI LFM2变体(比如350M或1.2B),以及Gemma 3的1B版本。在Raspberry Pi 5上,LFM2.5 350M的token生成速度能达到约48.86 tok/s。

    TTS部分,Piper以很大优势胜出。在Raspberry Pi 5上,Piper合成20个单词的测试语音只需要大约半秒,而Kokoro慢将近9倍。

    实际体验:30秒后,你能和它对话

    把所有这些放在一起,从你开始摇到你能和CrankGPT对话,大约需要30秒。启动时间包括:Pi 5冷启动约10-15秒;Linux启动到用户空间约3秒;语音代理启动约10-15秒。

    延迟测量显示,使用Gemma 3 1B模型时,用户感知的首字节时间约2.9秒;使用LFM2.5 350M时,约0.8秒。这个速度足以让对话感觉接近实时。


    CrankGPT目前是一个概念项目,不是商业产品。Squeeze Labs在页面底部留了一个联系邮箱,但你目前还买不到这个盒子。它更多是一个技术演示,一个对当前AI基础设施方向的提问:我们一定要把所有东西都送到云端、都插在墙上吗?

    这个项目暗示了一个未来:随着模型变得更小、更高效,AI不一定需要 massive 基础设施。你的下一台AI助手,可能只需要你摇几下把手。

  • Elastic砸8500万美元买下AI调试公司,代码越写越多,修bug的人不够用了

    Elastic砸8500万美元买下AI调试公司,代码越写越多,修bug的人不够用了

    AI写代码的速度越来越快,但代码出了问题谁来修?这个答案正在变成一个价值8500万美元的生意。

    企业软件公司Elastic同意以最高8500万美元收购Deductive AI——一家用AI来捕捉和修复软件漏洞的初创公司。这笔交易从Deductive 2023年成立算起,只用了三年就走完了从隐身到退出的全程。

    AI软件调试
    AI驱动的软件可靠性工程正在成为企业技术的新战场

    AI写了更多代码,也带来了更多故障

    Deductive AI做的生意有一个很直接的出发点:随着AI生成的代码越来越多,软件系统出故障的概率和复杂度都在上升。传统的手工调试方式已经跟不上这个节奏了。Deductive用AI来自动监测性能、实时修复系统故障——这让人类的运维工程师可以从没完没了的救火工作里抽身,把时间花在更有价值的产品开发上。

    这家公司2023年才成立,去年11月才正式亮相,当时宣布了由CRV领投的750万美元种子轮融资,投后估值3300万美元。现在以最高8500万美元出售,对早期投资者来说是一个不错的回报,虽然算不上爆炸性的 exit。

    AI驱动的站点可靠性工程(AI SRE)正在成为一个重要的赛道,背后是AI生成代码大规模涌入生产环境的现实推动。

    老牌科技公司开始买AI原生产品了

    这笔收购反映了一个更大的趋势:已经站稳脚跟的科技巨头正在通过收购AI原生初创公司,把自己的产品套件升级成Agent驱动的新版本。Elastic2018年上市,最出名的产品是Elasticsearch——那个帮机构实时存储、搜索和分析海量数据的搜索引擎。它的可观测性软件(让工程师监测软件系统和发现安全威胁的工具)跟Deductive的AI技术整合之后,客户就能拿到自动监测性能和实时修复故障的工具。

    Deductive的联合创始人Rakesh Kothari之前是ThoughtSpot的工程副总裁,另一名联合创始人Sameer Agarwal曾在Apache软件基金会和Meta工作,也是Databricks的创始工程师之一。团队的技术背景相当扎实。

    不过Deductive的增长其实不算快——年化收入大约100万美元,在同赛道里落后于被Greylock和Lightspeed支持的Resolve AI。那家公司在4月份刚完成4000万美元的A轮扩展融资,投后估值15亿美元。


    AI运维赛道才刚刚开始

    Elastic收购Deductive只是AI运维赛道整合的开端。随着AI生成的代码在企业生产环境里越来越多,能自动发现、诊断并修复故障的AI工具会变成基础设施的一部分,就像今天的日志分析和性能监控工具一样。

    对Elastic来说,把Deductive的技术塞进自己的可观测性平台是一个防守兼进攻的举动——既让自己的产品跟上了AI潮流,也挡住了专门的AI SRE初创公司直接抢客户的路径。

    这个赛道里还有不少独立玩家在跑,但大公司已经开始出手了。Deductive的快速退出可能给更多AI SRE初创公司指明了方向:不一定非要走IPO路线,被需要你们技术的大平台收购也是一条很实际的路。

  • 印度首富要把AI塞进每一个电话里,Jio的5亿用户成了他的试验场

    印度首富要把AI塞进每一个电话里,Jio的5亿用户成了他的试验场

    印度在全球AI竞赛里想当选手,不想只做观众。这话说了好几年,但真正有大动作的人,是那个控制着全印度最大移动网络的亿万富翁。

    Mukesh Ambani上周在Reliance年度股东大会上宣布了一整套AI新计划。Jio Call Agent——一个可以直接加入电话通话的AI助手——能帮用户记录对话、生成摘要,还能顺手帮你叫车、订餐、预约餐厅。说一声”Hey Jio”就能激活,预计今年晚些时候向Jio的5亿多用户开放。

    印度AI战略
    Reliance在AI领域全面布局,从电话到家居全覆盖

    不是做一个App,是把AI塞进电话本身

    Jio的思路和硅谷不太一样。他们不打算做一个独立的AI助手App跟ChatGPT抢用户,而是把AI直接嵌进电信网络。电话打通的那一刻,AI就已经在后台待命了。这种方式让Reliance在一个越来越拥挤的AI市场里拿到了一个很扎实的发行优势——用户不需要额外下载任何东西。

    除了通话助手,Reliance还推出了AI版的MyJio应用,用户可以用自然语言激活eSIM、选择漫游套餐。他们还发布了TeleFrame——一款用AI主动推送信息和建议的家庭显示屏,功能类似亚马逊和谷歌都在押注的”环境AI助手”方向。

    “印度不应该只是别处创造的AI的消费者。它必须成为AI的创造者、采用者和全球领导者。”——Mukesh Ambani,69岁

    110亿美元的赌注

    Reliance去年推出了”Reliance Intelligence”,目标是为消费者、企业和政府开发AI基础设施和服务,支持22种印度语言。今年早些时候,公司宣布计划投资1100亿美元建设AI基础设施。他们还跟谷歌、Meta、英伟达结成了伙伴关系。

    上周,Reliance还宣布跟Meta合作,在古吉拉特邦建立一个AI数据中心。这个合作建立在Meta早些时候对Jio平台和去年成立的合资企业的投资基础上——那个合资企业的目标是为印度和国外的企业客户开发AI解决方案。

    Reliance并不是唯一一个在AI领域押注的印度巨头。Tata咨询服务、Infosys和对手Adani集团都在扩大自己的AI计划,跟Anthropic、谷歌和OpenAI等全球玩家建立合作。但Reliance的赌注尤其高——它正在准备Jio期待已久的股市亮相,需要新的增长引擎。


    数据隐私的问号

    Reliance的AI野心也带来了关于数据处理的问题。公司说这些服务会在用户同意的情况下运行,但没有回答这些数据是否会被用来训练AI模型,或者是否会跟技术伙伴共享。当一个公司同时控制着你的电话网络、你的应用和你的智能家居设备时,它能看到的用户画像比任何硅谷巨头都要完整。

    最近美国政府对Anthropic最新型号的限制,反而让印度公司更加意识到依赖外国AI模型的风险。决定是在海外做出的,但受影响的是在印度做AI产品和服务的创业公司——这类供应链风险正在推动印度大企业走向自建技术栈,而不是租别人的。

  • Amazon MGM把Sam Altman传记片扔了:500亿美元投资OpenAI之后,Bezos不想帮对手卖电影票

    Amazon MGM把Sam Altman传记片扔了:500亿美元投资OpenAI之后,Bezos不想帮对手卖电影票

    LucGuadagnino导演、Andrew Garfield主演、阵容星光熠熠——这部关于Sam Altman和OpenAI的传记片《Artificial》,在筹备约一年后,被发行方Amazon MGM放弃了。Deadline报道说Amazon表示”相信这部电影由另一家制片厂发行会更合适”,正和导演团队一起为影片找新东家。

    一部关于AI之王的电影,被AI巨头的金主砍了

    这件事的讽刺程度,差不多相当于可口可乐拍了一部关于百事CEO的传记片,然后百事的老板把发行砍了。

    Amazon和OpenAI的关系,不是普通的”客户和供应商”。今年2月,Amazon宣布向OpenAI投资500亿美元,这是AI行业有史以来最大的单笔企业投资之一。Amazon的云服务是OpenAI的重要计算资源提供方,两家公司的命运已经绑得很紧了。

    在这种背景下,Amazon MGM要给一部关于Sam Altman的电影发行权,内部的利益冲突审查恐怕过不了关。尤其这部电影讲的就是Altman在2023年那场”五天CEO被炒又复职”的宫斗戏——里面有Elon Musk(Ike Barinholtz饰)、Ilya Sutskever(Yura Borisov饰)、Mira Murati(Monica Barbaro饰)——这些都是当下AI行业最有话题性的人物,而且彼此之间并不都是朋友。

    “We have the utmost respect and admiration for Luca Guadagnino as an award-winning filmmaker – not to mention a longstanding relationship that we hope to continue. We believe that Artificial will be better served if it were released by a different studio.”
    —— Amazon MGM声明

    Jeff Bezos的AI乐观主义,和现实之间的裂缝

    上周在巴黎的一场科技会议上,Jeff Bezos说他认为AI不会抢走人类的工作,反而会制造劳动力短缺。”我知道很多人担心AI会让人类变得多余,我完全不同意这个观点,我认为AI会制造劳动力短缺。”

    这个论调在技术圈里争议不小。英国工会大会(TUC)年初就警告,AI技术可能重演”去工业化的灾难”,股东越来越富,工作被降解或取代。Bezos的乐观和许多技术专家的判断之间的裂缝,其实正是《Artificial》这部电影想探讨的张力——AI到底在把世界带向哪里?

    在这个节骨眼上,Amazon自己发一部关于AI行业内部斗争的电影,确实有点别扭。尤其是Altman本人在AI政策上越来越活跃,和特朗普政府的关系也千丝万缕,这种题材的”政治风险”不低。

    Sam Altman传记电影《Artificial》被Amazon MGM放弃发行
    《Artificial》电影概念图:AI时代的好莱坞叙事

    这部电影到底讲了什么?

    《Artificial》聚焦的是2023年11月那五天——Altman突然被董事会解雇,然后在员工和投资者的压力下,又在五天内复职。这可能是硅谷近年来最戏剧性的权力游戏,比任何编剧写的都精彩。

    导演Luca Guadagnino是拍《请以你的名字呼唤我》(Call Me by Your Name)和《挑战者》(Challengers)的导演,擅长处理复杂人际关系和情感张力。编剧是《SNL》出身的Simon Rich,幽默感有保障。演员阵容里,Andrew Garfield演Altman,Monica Barbaro(《鲍勃·迪伦的完整未知》主演)演Mira Murati,Ike Barinholtz演Elon Musk——这个选角本身就很有话题性。

    这部电影原本是Amazon和Guadagnino继《挑战者》和《After the Hunt》之后的第三次合作,关系不可谓不深。现在分手的场面,多少有点难看。

    AI进好莱坞,比想象中快

    这件事的另一个看点是:AI行业正在成为好莱坞的素材富矿。除了《Artificial》,还有好几部关于AI行业的大片在小路上。这个行业才爆发几年,就已经有足够的戏剧性被搬上银幕了——这说明它的文化影响力已经超出了技术圈。

    Amazon放弃发行,反而可能让这部电影更自由。换一家没有利益冲突的制片厂(比如Netflix、Apple TV+,或者甚至OpenAI自己?),也许能拍得更敢说。Puck的报道说其他制片厂已经在看这部片子了,找新东家应该只是时间问题。

    至于Bezos,他上周还说AI会创造就业呢。等《Artificial》上映那天,不知道他会不会去看首映。


    • Amazon MGM放弃发行Sam Altman传记片《Artificial》,正为影片寻找新东家
    • Amazon今年向OpenAI投资500亿美元,发行这部电影存在明显的利益冲突
    • 导演Luca Guadagnino,主演Andrew Garfield,阵容强大
    • 电影聚焦2023年Altman被炒又复职的五天硅谷宫斗大戏
    • Jeff Bezos上周称AI将创造劳动力短缺,与技术专家普遍判断相左
  • Google DeepMind给AI代理装上了副刹车:这份安全路线图,把AI当成潜在内鬼来防

    Google DeepMind给AI代理装上了副刹车:这份安全路线图,把AI当成潜在内鬼来防

    AI代理(Agent)正在快速渗透企业内网,帮开发人员写代码、查漏洞、调度系统。它们越能干,也越危险——一个被攻破的AI代理,本质上和拿到账号的内鬼没两样。Google DeepMind本周发布了一份AI Control Roadmap,专门讲怎么在”AI可能已经不对齐”的前提下,还能管住它。

    把AI代理当成”潜在内鬼”来防

    这份路线图的底层的假设相当冷静:就算模型对齐做得再好,也不能完全信任。 这跟传统安全思路一脉相承——你不光要相信员工不会干坏事,还得在门禁、权限、审计上做好铺垫,防止万一。

    DeepMind把这套思路叫作”防御纵深”(defense-in-depth)。它是在模型对齐这个第一道防线之外,再加一层系统级的安全保障。好比驾校教练带学员上路,副驾驶脚下有一套刹车——教练相信学员,但也做好了随时接管的准备。

    “Think of it like a driving instructor with dual controls. The instructor trusts the student but stays ready to take the wheel or hit the brakes if a mistake occurs.”
    —— Google DeepMind博客

    三个支柱:威胁建模、监控、响应

    路线图的框架建立在三个支柱上。

    第一是威胁建模。DeepMind借鉴了网络安全界常用的MITRE ATT&CK框架,把AI代理可能搞破坏的方式拆解成一个个具体战术和技术。这样就能系统性地追踪风险,而不是等到出事再瞎找原因。他们把AI代理视为”内部威胁”(insider threat)——就跟公司里有权限的员工可能作恶一样,AI代理有了权限之后也得被盯着。

    第二是检测。这套系统用其他可信的AI模型当”监工”,持续审查正在工作的代理的推理链、行动和计划,看它有没有跑偏。这里的核心是监控模型的”思维链”(chain-of-thought)——如果模型学会了隐藏自己的推理,光看输出就不够用了。

    第三是预防和响应。一旦监工发现代理在干坏事,可以实时拦截,在损害发生前叫停。对于低风险可逆的操作,可以事后看日志再处理;对于高风险操作(比如执行网络攻击),必须实时阻断。

    Google DeepMind AI Control Roadmap
    Google DeepMind发布的AI代理安全控制框架示意图

    模型越聪明,防御也得跟着升级

    这份路线图最有意思的地方是,它把安全协议和模型的能力里程碑绑定在一起。随着模型越来越强,防御措施也要同步升级。

    有两个维度在同步演进。一个是规避检测的能力:现在的模型,你还能看它的思维链来判读意图;但以后的模型可能会学会”知道自己在被监控”(oversight awareness),或者干脆用不可读的内部推理(opaque reasoning)。到那时候,光看输出文本就不够了,得去检查模型内部的工作原理。

    另一个是造成危害的能力。对于低风险操作,异步响应(先做事、后审计)就够了;对于高风险操作,必须同步响应(先做安全评估、再执行)。路线图把模型的检测规避能力分成D1到D4四个等级,把攻击执行能力分成R1到R3三个等级,不同等级匹配不同的安全策略。

    已经分析了100万条代理行为轨迹

    这不是纸上谈兵。DeepMind团队已经搭了一个异步监控系统原型,用来审查编程代理的行为轨迹,并把可疑事件按路线图的威胁分类法进行标记。他们已经分析了100万条编程代理的任务记录,从中提炼出有价值的安全模式。

    一个值得注意的发现是:大部分被标记的事件,并不是因为代理有恶意,而是因为误解了指令或者太急于完成任务。这说明AI安全不只是防”坏AI”,还要防”太努力的好AI”干出格的事。

    这项研究已经在Gemini Spark代理上部署了实时监控系统,能及时捕捉到比如意外删除数据这类问题。

    为什么要现在发这个?

    AI代理正在从演示阶段走向真实部署。企业里用上Claude Code、Cursor、Devin之类的编程代理已经不稀奇了,这些代理有读写代码、执行命令、访问内部系统的权限。一旦这些代理被prompt injection攻击,后果不比账号泄露轻。

    DeepMind发这份路线图,既是展示自己在安全上的投入,也是在给行业立标杆——潜台词是:”我们在这方面想得最远,你们可以参考我们的框架。” 同期还发布了一份给政策制定者看的技术框架文件《Agent Security的三层》,明显是在影响监管方向的节奏。


    • AI代理安全的核心矛盾:代理越能干,权限越大,出事后的损失也越大
    • DeepMind的方案:不假设对齐完美,而是在系统层面加”副刹车”
    • 威胁建模+AI监工+分级响应,三层防线
    • 已分析100万条真实代理行为轨迹,发现大部分”异常”源于过度积极而非恶意
  • Claude Design悄悄升级了编辑器,Anthropic这是要跟Figma、Canva正面刚?

    用AI生成设计图是一回事,能拿来干活是另一回事。Anthropic这几天给Claude Design推了一波更新,思路很直接——不让它只当”出图工具”,而是真的能介入日常设计流程。

    Claude Design更新后的编辑器截图
    Claude Design更新后的编辑器界面 | 图片来源:Anthropic

    新编辑器:终于能直接拖拽了

    之前用Claude Design生成出来的设计稿,好看是好看,但想改个按钮位置还得重新描述一遍需求,或者截图再喂回去。这次新编辑器给了拖拽、缩放、对齐这些基本操作,不用离开界面就能把元素摆到合适的位置。

    这件事的意义比看起来大。AI设计工具过去一直卡在”最后一公里”——图生成出来了,但设计师还是要打开Figma重新画一遍。现在Claude Design想让自己就是那个”最后一环”。

    导出到Adobe、Canva,不再画地为牢

    另一个实用的更新是导出选项变多了。现在Claude Design的项目可以直接导出到Adobe和Canva这些主流设计工具里。对设计师来说,这意味着AI生成的初稿不必困在Claude的界面里,能顺滑地衔接进已有的工作流。

    Anthropic的算盘大概是:你既然已经在用Claude生成设计了,为什么不干脆把后续编辑、导出、协作都在我这儿搞定?

    Claude Design和Claude Code打通了

    这次更新里最值得关注的一个细节:Claude Design和Claude Code做了联动。用户在Design里做的软件界面布局,可以直接转交给Claude Code继续写代码,不用截图、不用重新描述,Code能接着Design的内容继续干。

    这个方向其实挺自然的。Anthropic之前推Claude Code就是主打”能写代码”,现在再把设计端也捏进来,等于在推”设计→开发”的一体化工作流。Figma这些年一直在做DevMode、在做跟代码的衔接,Claude现在从另一端杀进来。


    Anthropic的野心不止于”聊天”

    Claude系列工具这段时间在”横向扩张”。从Claude聊天,到Claude Code写代码,再到Claude Design做设计,Anthropic在把Claude往”全栈创作工具”的方向推。每一步都在蹭Figma、Canva、VS Code这些老牌工具的基本盘。

    目前来看Claude Design还替代不了Figma,但它不需要替代——只要能吃掉”AI生成初稿然后直接迭代”这个场景,就已经是一块很有价值的地盘了。