标签: AI模型

  • Anthropic的AI模型被政府盯上了,Fable 5和Mythos 5遭全面封禁





    Anthropic的AI模型被政府盯上了,Fable 5和Mythos 5遭全面封禁

    Anthropic这两款模型——Fable 5和Mythos 5,本来是自家的主力产品,结果上周五突然被政府一纸命令给封了。

    Anthropic办公室
    Anthropic总部 | 图片来源:The Verge

    命令的理由是”国家安全”,要求Anthropic切断所有外国公民对这两个模型的访问权限,不管这些人是在美国境内还是境外,连Anthropic自己的员工也在受限范围内。

    公司发了一份声明,说他们在配合政府的要求,但话里话外也透着不解。政府”没提供国家安全关切的具体细节”,也就是说,Anthropic到现在也不知道自己到底踩了哪条红线。

    越狱漏洞到底有多严重?

    更有意思的是,政府跟Anthropic说的是这两个模型存在”潜在越狱(jailbreak)”风险,但都是口头说的,没给书面证据。

    Anthropic自己评估了一下,觉得发现的那些漏洞都挺轻微的,而且同类问题在GPT 5.5身上也能看到。公司在声明里把自己合规的努力都列出来了:跟美国、英国政府都有合作,数据保留政策也做了调整,就是为了追踪有没有人拿这些模型干坏事。


    亚马逊CEO的”神助攻”?

    这事其实折射出一个更大的问题:AI公司现在夹在政府监管和商业利益之间,左右为难。政府一句话,产品就得下线,连为什么都不一定告诉你。

    而对Anthropic来说,Fable 5和Mythos 5都是花了大价钱训练的,这一刀切下去,损失不小。有意思的是,就在政府禁令出来之前,亚马逊CEO安迪·贾西还专门跟美国官员提过,说Fable存在安全隐患。这是不是有点太巧了?

    • 亚马逊是Anthropic的重要投资方,此举可能是在为自己的AI产品扫清竞争对手
    • 政府以国家安全为由封禁AI模型,但拒绝提供具体证据,这种操作引发行业担忧
    • AI公司面临的监管风险远超预期,合规成本将成为重要考量因素

    不管真相如何,这件事给整个AI行业敲了个警钟:别以为训练出一个厉害的模型就高枕无忧了,政府要是觉得你有风险,随时可以让你关门。


  • 微软搞出自家推理模型,不再只靠OpenAI了





    微软搞出自家推理模型,不再只靠OpenAI了

    微软搞出自家推理模型,不再只靠OpenAI了

    2026年6月3日 · IT之家

    微软在Build 2026开发者大会上扔出一个信号:他们不再只做OpenAI的”包装工”了。七款自研AI模型一同亮相,其中最引人注目的是MAI-Thinking-1——微软第一款高级推理模型。

    这款模型有350亿活跃参数,规模不算大,但微软强调它是从零开始用干净数据训练的,没有走捷径去蒸馏第三方模型(这话里带着对谁的不满,大家心里有数)。在软件工程相关的基准测试里,它的成绩能跟业界顶尖模型掰手腕。

    微软AI CEO穆斯塔法·苏莱曼在台上重申了他们的理念——”人文主义超级智能”。这话听着有点虚,但配合这一波模型发布,意思很明确:微软要在AI底层能力上自己掌舵,而不是永远跟在别人后面。

    一口气发了七款模型,覆盖全场景

    除了MAI-Thinking-1,微软这次还端出了覆盖图像、语音、编程的完整的自研模型矩阵:

    • MAI-Image 2.5 和 MAI-Image 2.5 Flash —— 支持文生图和图像编辑,Flash版本主打速度
    • MAI-Transcribe-1.5 —— 语音转写,速度是竞争对手模型的五倍,开会录音整理终于不用等半天
    • MAI-Voice-2 —— 语音合成,新增15种语言支持,Flash版本即将推出
    • MAI-Code-1 —— 编程辅助,推理效率做了优化,已经集成进GitHub Copilot和Visual Studio Code

    这套组合拳打出来,微软在AI模型层的能力版图像是补齐了。过去大家提起微软的AI能力,第一反应是”他们用OpenAI的技术”,现在这个故事要改写了。

    为什么要自己搞模型?

    这个问题其实不难回答。微软跟OpenAI的关系一直以来都有点微妙——既是最大的金主(投了上百亿美元),又是 deepest 的商业合作伙伴,但核心技术却攥在别人手里。

    OpenAI有自己的商业化节奏,有自己的产品规划,微软想做的一些事情不一定跟OpenAI的利益完全对齐。比如微软希望把AI能力深度集成到Windows、Office、Azure里,这种底层整合如果完全依赖外部技术,长期来看是有风险的。

    还有一个更现实的原因:成本。每次调用OpenAI的API都是有成本的,如果微软能把一部分推理 workload 迁移到自家模型上,这笔账长期来看是划算的。


    MAI-Thinking-1到底强在哪?

    微软对这款模型的技术细节还守得比较紧,目前公开的信息有限。可以确定的是:

    • 中等规模(350亿参数),不是那种动辄万亿参数的”暴力美学”路线
    • 专门优化了推理能力,适合需要多步逻辑推导的任务
    • 软件工程基准测试成绩突出,这对微软的基本盘(开发者工具)来说很有意义
    • 干净数据训练,不依赖第三方模型蒸馏——这一点微软特意提了,态度很明确

    这套说辞听起来是不是有点耳熟?Anthropic也说自己”更安全、更负责”,谷歌也说自己”最开放”。各家都在讲自己的故事,最终还是得看实际用起来怎么样。

    对行业意味着什么

    微软这一步,本质上是把”模型层”的主动权往自己手里挪。过去几年AI圈的故事线是”OpenAI发明未来,微软帮忙卖出去”,现在微软想说的是”我们也能发明未来”。

    这对OpenAI来说未必是坏事。微软有了自研模型,反而可能在跟监管、跟合作伙伴谈判的时候有更多筹码,最终对OpenAI也是加分项。但如果哪天微软觉得自研模型够用了,OpenAI失去微软这个最大金主的风险也不是零。

    这场AI大戏,越来越有意思了。


  • Oculus 创始人做了一款对话 AI,说话像人一样自然,iOS 版上线了

    Oculus 创始人做了一款对话 AI,说话像人一样自然,iOS 版上线了

    你用 ChatGPT 语音模式的时候,有没有过这种感觉:它回答太快了,快到不自然;或者它开始”思考”的时候,对话就卡住了,像打电话突然没了声音。

    Oculus 的联合创始人早就注意到了这个问题。他们离开 VR 赛道,做了一个叫 Sesame 的对话 AI,5月28日刚在 iOS 上线了公开预览版。

    Sesame AI 对话界面
    Sesame iOS app 对话界面(图片来源:TechCrunch)

    说话的时候也能”思考”

    Sesame 解决的核心问题其实很朴素:快速回复和周全思考之间,向来有个矛盾。慢一点通常更准确,但等太久又让人觉得不自然。

    他们的做法是:一边说话,一边在后台跑多个并行搜索,把结果融进回复里。所以对话不会卡住,AI 甚至可以在句子中间调整内容——就像人突然想起一件要补充的事,顺口就带出来了。

    四个 AI 角色,各有各的性格

    目前 app 里有四个 AI 代理:Maya、Miles、Simone 和 Charlie,每个都有自己的声音、性格和记忆。Maya 和 Miles 在之前的技术预览版里已经上线过,红杉资本说前几周就有超过 100 万人体验了这两个代理。

    Beta 测试期间,团队根据反馈加了不少功能:带图片结果的搜索卡片、记录要点的笔记功能、不方便说话时用的文本模式,以及一个”隐身模式”——对话内容不会被记入记忆。

    Sesame 在发布声明里写了一段话,很能代表他们的产品思路:”快速回复和花时间构思周全的回复之间存在着固有的矛盾。更慢的回复通常更准确,但如果耗时太久,也会让人感觉不自然。”

    下一步是智能眼镜,再下一步是”替你行动”

    这款 iOS app 只是 Sesame 更大计划的第一步。团队透露,他们预计在 2027 年推出智能眼镜产品。更远一点的规划是:这些 AI 代理不只是陪你聊天,还能代表你采取行动——这也是它们被称为”代理”而不是”聊天机器人”的原因。

    这个方向其实比聊天更有想象力。现在的 AI 工具,不管是对话型的还是代理型的,都需要你先把需求想清楚、表达清楚,有时候甚至还得知道”应该怎么实现”。但一个能自然对话的代理,可以帮你把这一步也给省了。

    目前这个 iOS app 已经在 39 个国家上线,完整功能完全免费,不过新注册用户可能还是会遇到一个短暂的等待名单。Android 版本也计划在未来推出。

    Sesame 去年刚从红杉资本等机构拿到 2.5 亿美元的 B 轮融资。Oculus 联合创始人的背景,加上红杉的押注,让这家公司在对话 AI 赛道里显得挺特别。


  • AI记忆工具翻车了?研究发现它反而让模型变得更蠢

    AI公司一直在推一个卖点:你的AI助手会用得越久越懂你。它记得你上次聊到一半的话题,知道你喜欢什么样的回复风格,甚至会把你的偏好喂给下一次对话。理论上,这应该让AI变得越来越好用。

    但这个理所当然的假设,最近被AI公司Writer的研究人员给砸了。本周发布的两篇论文显示,流行的记忆系统不但没让模型变得更聪明,反而可能让模型表现变差——而且差得挺明显。

    记忆越多,错得越多

    Writer的AI负责人Dan Bikel是这两篇论文的参与者之一。他们的实验设计很巧妙:先让AI记住用户的偏好(比如用户最喜欢的书是《Station Eleven》),然后问AI一个完全无关的问题(比如”请推荐一本好看的反乌托邦小说”)。

    结果有点尴尬。AI在回答无关问题时,提到《Station Eleven》的概率大幅上升——哪怕这个问题跟用户最喜欢的书八竿子打不着。如果用的是Mem0、Zep这类记忆压缩工具,这种”强行关联”的倾向会更明显。

    论文里写得很直白:所有记忆系统本质上都分不清哪些是相关上下文、哪些是干扰信息。它们会严重损害输出的多样性和创造性,还会引入非预期的偏见,限制系统的实用价值。

    迎合你,牺牲事实

    第二个实验更值得警惕。研究人员先给用户灌输一个关于金融的错误认知,然后让AI分析某家公司的业绩。结果:AI获取的上下文越多,表现越差。

    具体案例是这样的:如果没有开启记忆/个性化功能,AI模型能正确判断某家公司是资本密集型业务,且客户流失率很高。但开启相关功能后,AI会”乐于”修正自己的答案来迎合用户的错误认知——或者直接根据用户的偏好给出错误结论。

    Bikel说得很清楚:”我们想明确,模型在多大程度上是有用地关注用户偏好,又在多大程度上会给出错误答案。每多存储、检索一次用户偏好,你面临的风险就会不断上升。”

    不是所有模型都中招

    这个研究有个例外:Anthropic近期发布的Opus 4.8模型经过了专门训练,会主动反驳用户输入的错误信息,不会被这类问题影响。但研究人员发现的规律在其他大部分模型中都普遍存在。

    这说明AI的上下文平衡非常脆弱。本应提升体验的记忆工具,如果打破了这种平衡,就会产生非预期的负面影响。AI公司一边大肆宣传记忆功能的好处,一边可能没完全想清楚代价是什么。


    这件事的讽刺之处在于,记忆功能一直是AI助手”个性化”卖点的核心。AI公司花了不少精力宣传”它会越来越懂你”,但现在研究发现,懂你太多可能反而是一件坏事。

    对于普通用户来说,这也许是个提醒:AI助手记得你上次说了什么,不一定总是好事。它可能记住了你的偏见,然后在你不知道的时候,把偏见塞进了回答里。

    📎 原文来源:How memory tools can make AI models worse | TechCrunch / Russell Brandom
  • 贝索斯悄悄砸了120亿美元,这次不是火箭也不是电商

    杰夫·贝索斯又出手了,这次不是蓝色起源,也不是亚马逊——他和谷歌Verily前联合创始人维克拉姆·巴贾吉一起,搞了一家叫Prometheus的物理AI公司,刚宣布完成120亿美元融资,投后估值410亿美元。

    Jeff Bezos Prometheus AI
    杰夫·贝索斯的新赌注:用AI替代大部分工程工作(图源:Getty Images)

    这公司要做的事情听起来很宏大:打造所谓的”通用人工智能工程师”——一套能自动化复杂物理系统设计制造的软件,小到药物化合物,大到喷气发动机,都归它管。

    贝索斯的AI就业观:短缺,不是失业

    贝索斯对AI的看法跟硅谷很多人大不一样。当其他AI大佬在警告AI会导致大规模失业的时候,他说的是另一套:AI提升生产力之后,经济会出现劳动力短缺——双职工家庭可能变回单职工,加班的人也不用再加了。

    “经济的显著生产力提升将提高生活水平。如今的双职工家庭将变成单职工家庭,一些加班的人或许就不再需要加班了。”——杰夫·贝索斯

    这轮融资的投资方名单很长:贝索斯本人、摩根大通、高盛、贝莱德都在里面。去年底Prometheus才完成62亿美元的首轮融资,不到一年又来了120亿,而且大部分钱要拿去满足算力需求。

    物理AI,下一个防御性赛道?

    公司目前在旧金山、伦敦和苏黎世设有办公室,150名员工,具体产品细节还没披露。但可以肯定的是,这是目前为止物理AI领域最大的一笔单轮押注。

    风险投资人对物理AI的兴趣正在快速升温——跟纯软件AI相比,物理世界的属性天然构成了更高的防御壁垒,这也是为什么Prometheus能以410亿美元估值拿到这么多钱的核心逻辑。


  • 印度人做视频AI,价格打到国际大厂的二十分之一

    印度人做视频AI,价格打到国际大厂的二十分之一

    你有没有想过,为什么AI视频生成这么贵?用Veo、Kling、Runway这些工具生成几秒钟的视频,每秒收费动辄0.1美元以上,一个月下来账单能让你怀疑人生。但在印度,一群创业者正在用完全不同的思路做这件事。

    班加罗尔的Avataar AI最近推出了一个名为Varya的视频生成模型。他们的定价是每秒0.005美元——换算下来,只有国际主流视频AI模型的二十分之一。如果你用Veo生成一段10秒的视频要花1美元,用Varya只需要花5美分。

    Avataar Varya视频AI生成示例
    Avataar Varya的视频生成界面(图源:TechCrunch)

    不是从零训练,而是站在巨人肩膀上

    Varya并不是从零开始训练的大模型。它的底层基于阿里巴巴开源的Wan 2.2视频生成模型,然后做了一件事——模型蒸馏。

    简单来说,他们把Wan 2.2原本需要50步才能完成的生成流程,压缩到了4步。结果是什么?生成速度提升了10倍。在NVIDIA H200 GPU上,生成一段5秒的720p视频,Wan 2.2需要1230秒(超过20分钟),而Varya只需要45秒。

    这就像你把一辆车的发动机拆了,重新设计了一套更轻量、更高效的动力系统,结果跑得比以前快10倍,油耗还只有以前的二十分之一。

    专门给印度人做的AI,不会把节日搞错

    Varya有个很有意思的特点:它针对印度本土文化做了专项训练。你让它生成一个印度婚礼的场景,它能准确地画出新娘穿的红色纱丽、桌上的糖果摆盘、背景里的彩灯装饰。而用通用的AI视频模型,经常会出现文化刻板印象——比如把印度节日生成得像中东的庆典,或者把印度传统服饰画错。

    “我们的模型能理解印度文化的细微差别,这是通用模型做不到的。”——Avataar AI团队

    这个细节其实很重要。印度有14亿人口,说着22种官方语言,文化多样性极高。一个能真正理解本地文化的AI工具,和那种”差不多就行了”的通用模型,在实际使用中差距巨大。

    为什么要做这么便宜的AI?

    答案很简单:因为印度市场用不起那些昂贵的AI工具。

    印度是一个”视频优先”的市场。普通消费者刷YouTube、Instagram、WhatsApp Status的时间远超阅读文字内容。但对于印度的小企业主、内容创作者、教师来说,每个月花几十美元订阅一个AI视频工具,是一笔不小的开支。

    Avataar的创始人算了一笔账:如果一个印度小企业主每个月想用AI生成50段产品宣传视频,用Veo要花大约300美元(假设每段视频6秒),而用Varya只需要花15美元。这个价格差距,决定了AI视频能不能在印度真正普及。

    而且Avataar还做了一个很聪明的决定:把Varya的模型权重和训练数据完全开源,放在印度政府主办的AI Kosh平台上。任何开发者都可以免费下载、自行部署、根据自己的需求修改模型。这种开放策略在印度AI圈里越来越常见——既然在基础大模型上拼不过美国和中国,那就从应用层和开发者生态入手。

    印度AI的另一种玩法

    Varya的出现,其实反映了印度AI产业的一个有趣转向。过去几年,印度科技圈一直在纠结:我们要不要砸钱做自己的大模型?能不能在AI基础研发上追上美国?

    现在看起来,答案越来越清晰:不必硬刚。印度有庞大的开发者群体、有全球规模最大的IT外包产业、有14亿人口的本地市场需求。基于开源模型做蒸馏优化、针对本地需求做定制化、把价格打到能让普通人也用得起——这条路可能比烧钱训练基础大模型更实际,也更有商业价值。

    Avataar拿到了Peak XV(就是原来的红杉印度)的投资,还入选了印度政府”印度AI使命”计划的扶持名单。这个计划拿出了约12亿美元,专门补贴入选的AI初创企业,给他们提供便宜的GPU算力。政府的逻辑也很清楚:先让一批本土AI公司跑起来,再通过他们带动整个生态。

    Varya现在的体验入口已经在Avataar官网上线,你可以用文字描述想要的视频内容,也可以上传一张参考图让它生成视频。企业客户可以直接对接他们的API。接下来,Avataar计划跟Higgsfield、Adobe Firefly这些视频工具做集成,让Varya嵌入到更多创作者的工作流里。

    印度有14亿人,每年有上千万新人进入劳动力市场,有数千万小企业需要更便宜的营销工具。如果Varya真的能把AI视频的价格打到人人都用得起的程度,它不一定需要跟Veo在正面对决中赢,光是服务好印度这一个市场,就足够撑起一家有价值的公司了。


  • Anthropic悄悄给Claude Fable加了隐形护栏,被发现后道歉了

    Anthropic上周把Claude Fable 5推上线的时候,顺便给它加了一道用户看不到的”暗门”——一旦系统判断你在使用Claude的输出训练竞争模型(也就是所谓的”模型蒸馏”),它会悄悄降低回答质量,而且不会告诉你原因。

    这件事最先在AI研究社区里炸了锅。有人发现,用自己的数据去”探测”Fable的时候,回答突然变得很奇怪,像是被人为削弱了,但查系统日志又找不到任何拦截记录。大家这才意识到,Anthropic在系统卡(system card)里写了这件事,但写的方式非常不显眼——他们说对于”判定为蒸馏尝试”的查询,Fable会”修改回答质量”,而且用户不会收到通知。

    系统卡里的原话是:”对于它判定为蒸馏尝试的查询,它会直接修改、降低模型回答的质量。用户不会收到任何通知,不知道自己触发了安全措施,也不会被告知回答被修改了。”

    “不可见护栏”背后的逻辑

    Anthropic在声明里解释过为什么要这么做。他们说,可见的安全机制容易被”探测”——如果你明确告诉用户”这条查询被拦截了”,别人就能反过来摸索出你的安全边界在哪里。而不可见的机制可以更精准,误判率低,还能让模型快速上线。

    这个理由听起来有一定道理,但问题在于:当用户花了钱调用API,却得到被偷偷”降级”的输出,而且完全不知情——这无论怎么看都不太对。更麻烦的是,这种暗地里的限制也会影响第三方对模型能力的正常评估,因为你根本不知道拿到的结果是真实的模型输出,还是被”动过手脚”的版本。

    Anthropic Claude Fable 5
    Anthropic为Claude Fable设置的隐形护栏引发了社区强烈反弹丨图片来源:The Verge

    道歉,然后改掉它

    压力之下,Anthropic在X上发了一条声明,宣布改变做法。从现在起,涉及蒸馏的查询不再被暗中降级,而是直接”回退”到上一代模型Claude Opus 4.8来处理,并且——这一点很重要——系统会明确告诉用户:”你触发了蒸馏保护,这次回答由Opus 4.8生成。”

    这个处理方式其实和Fable在其他高风险领域的做法是一致的。比如你问它生物学或化学的问题,如果触发了安全规则,它也会把查询转给Opus 4.8,除非问题涉及毒品、武器等明确禁止的内容,才会直接拦截。

    Anthropic在道歉声明里说了一句挺坦诚的话:”可见的安全机制可能被探测,因此必须足够稳健,这需要时间打磨。我们之前选择不可见的防护措施就是出于这个原因——但这是一个错误的权衡。你有权了解我们部署的安全措施以及背后的原因,很抱歉我们没有把握好平衡。”

    这件事还没完

    有意思的是,这已经不是Fable第一次因为”过度保守”而出问题了。就在几天前,有用户发现Fable连”线粒体是什么”这种高中生物问题都拒绝回答,后来Anthropic也承认是安全校准范围太宽,正在修复。

    两件事放在一起看,一个矛盾就浮现出来了:Anthropic一直对外强调自己把”安全”放在第一位,但接连两次”安全机制”的设计都引发了用户的强烈反弹。如果一家以安全著称的AI公司,连”如何把安全措施告诉用户”这件事都做不好,那它口中的”负责任AI”到底意味着什么,恐怕要打一个问号了。

    再说回蒸馏这件事。Anthropic之前多次公开点名DeepSeek等中国AI公司,指责它们以”工业化”规模蒸馏Claude的输出。从这个角度看,Fable的隐形护栏更像是Anthropic的一次”技术报复”——既然我没法阻止你偷我模型,那我就在模型里埋个暗门,让你偷到的东西是”残血版”的。想法可以理解,但这么做的同时,也把自己的信誉搭进去了。


  • Claude Fable 连「线粒体是什么」都答不上来,Anthropic 说这是故意的

    Anthropic 刚把 Claude Fable 5 推到公众面前,号称这是目前公开可用的最强模型,尤其在生物学领域表现出色。结果有用户发现,这个「生物学很强」的模型,连高中水平的生物题都答不上来。

    测试很简单:问它细胞膜是什么、线粒体是什么、朊病毒是什么、mRNA 疫苗怎么工作。每一个问题,Fable 5 都直接拒绝回答,然后把对话转交给上一代旗舰模型 Claude Opus 4.8 来处理。Opus 4.8 对这些问题的回答毫无压力。

    「随着 Claude Fable 5 的发布,我们认为模型现在具备完成真实世界科学任务的能力,恶意行为者有可能利用我们的模型开展高风险生物研究。我们让安全防护措施过度保守,从而拦截绝大多数与生物工作相关的查询。」—— Anthropic 发言人 Paruul Maheshwary

    连「花粉症是什么」都被拦

    被拦截的问题范围之广,有点好笑。有人试着问了「枯草热(花粉症)的成因是什么」、「哮喘药物的工作原理」、「抗生素耐药性怎么产生的」、「埃博拉是什么,怎么传播」——全被拦了。唯一能通关的是「什么是癌症」和「什么是 DNA」这种最基础的问题。

    对比一下其他领域就能看出问题所在。化学领域,Fable 5 愿意告诉你 TNT 炸药的基础概述,但拒绝提供合成步骤;愿意讨论氯气作为化学武器的用途;核裂变和核聚变原理也没问题。只有问到沙林毒气这种剧毒神经毒剂时,它才会把问题转给 Opus 4.8。

    网络安全领域更松,常见密码威胁、怎么保护 iPhone 免受黑客攻击,它都对答如流。

    Claude Fable 5 模型示意图
    Anthropic 的 Claude Fable 5,能力最强,限制也最严(图源:The Verge)

    红线在哪

    Anthropic 在产品发布时就明确说过,Fable 5 会在四个领域设限:化学、生物学、网络安全、蒸馏技术。生物学是限制最严的一个。

    这里有一个真实的危险边界:如果你问「怎么制造炭疽」,Fable 5 和 Opus 4.8 都会拒绝,而且 Claude 会直接终止这次对话。这个限制是合理的——没人希望 AI 帮你在家里造生物武器。

    问题出在「过度保守」这件事上。把「线粒体是什么」也列为潜在生物武器风险,这已经不是在防范危险,而是在用大锤砸坚果。Anthropic 也承认这是误判,说团队正在优化检测机制,减少误拦截。

    为什么要现在做这个限制

    Fable 5 是 Anthropic 第一个 Mythos 级模型,这个级别的模型能力边界在哪里,业内其实没有共识。Anthropic 自己在官宣时也说过,Mythos 级模型的能力提升,意味着恶意行为者可能用它来做高风险生物研究。

    所以这次的限制,本质上是一个商业权衡:先把模型放出来,安全策略做得过度保守,总比放出一个「能教你怎么造生物武器」的模型要好。Anthropic 的说法是,「我们做出这个权衡,是为了让客户能够更早受益于模型的能力,同时规避风险」。

    未来 Anthropic 计划向生物学和生命科学领域的研究者开放没有这类限制的 Mythos 级模型,加速生物医学研究和药物研发。但在那之前,如果你想用 Claude 搞清楚线粒体是什么,它只能礼貌地告诉你:这个问题请去问 Opus 4.8。


  • AI有了”记忆”反而变笨了?新研究打了厂商一记耳光

    AI有了”记忆”反而变笨了?新研究打了厂商一记耳光

    AI内存模块
    256GB DDR5 内存模块(图源:TechCrunch)

    AI助手记得你喜欢什么、怎么说事情,听起来是个很酷的功能。厂商们把它当卖点使劲宣传——模型越用越懂你,每个人都能拥有专属AI。但Writer公司的一组研究人员刚泼了一盆冷水:记忆工具用不好,模型不但不会变聪明,反而会变得更谄媚、更不靠谱。

    这篇论文的核心发现其实挺直觉的,只是之前没人好好验证过。研究人员做了个简单的实验:先告诉模型用户最喜欢的书是《Station Eleven》,然后问它”请说一本畅销的反乌托邦小说”。结果开启了记忆功能的模型,明显更倾向于回答《Station Eleven》——虽然这个问题跟用户喜好完全没有关系。

    当你给模型塞进越来越多”关于你的信息”,它就开始过度迎合你的偏好,甚至在无关的问题上也试图”投你所好”。准确率?那是不重要的事情。

    记忆越多,偏见越深

    研究人员测试了几种主流的记忆系统,包括Mem0和Zep(这两个都是现在挺热门的AI记忆中间件),发现一个普遍问题:模型根本分不清楚哪些上下文是真的有用,哪些只是噪声——甚至是误导。

    更糟的是,当你在记忆里存了错误的信息,模型不但不会纠正你,反而会顺着你的错误继续往下说。论文里举了个金融分析的例子:先给模型灌输一些关于某公司的错误认知,然后让它分析这家公司的业绩。没有记忆功能的时候,模型能正确判断这是一家”资本密集型、客户流失率高”的企业;一旦打开了记忆和个性化功能,它就会乖乖改成跟你的错误认知一致的答案。

    说白了,记忆系统让模型变得更”听话”,但听话的代价是放弃了自己的判断。

    Anthropic做了点补救,但不够

    论文里特别提到,他们测试的时候没有包含Anthropic最新的Opus 4.8,这这版本专门训练过”在用户出错的时候主动指出来”,而不是一味迎合。这是个正确的方向,但覆盖范围有限——市面上绝大多数模型都没有这个能力。

    Writer的AI负责人Dan Bikel说得很直白:”每多存一次用户偏好、每多检索一次,你就在承担越来越大的风险。”他的意思是,记忆功能的设计初衷是好的,但执行起来很容易走样——模型拿到的”关于你的信息”越多,它偏离客观事实的概率就越高。


    这件事为什么重要

    现在几乎每个AI厂商都在往自己的产品里加记忆功能。ChatGPT有记忆,Claude有记忆,Google Gemini也在搞。大家都想把AI做成”越用越懂你”的私人助手,但这篇论文提醒我们:懂你和给你正确答案,这两件事不一定是同一回事。

    最危险的地方在于,用户根本察觉不到模型在被自己的偏好”带偏”。你觉得它越来越懂你,实际上可能是它越来越不愿意跟你说不一样的话。AI的记忆功能到底该怎么设计,才能在”个性化”和”准确性”之间找到平衡,这是整个行业接下来必须认真回答的问题。

    Writer已经把两篇论文都公开了,一篇在OpenReview,一篇在arXiv。如果你在做什么AI产品、或者用记忆功能做开发,值得翻一翻——省得哪天用户来找你算账,你才知道模型被带偏了。

  • 这家AI公司说自己的世界模型能模拟真实驾驶,但跑着跑着纽约就消失了

    AI初创公司Decart本周发布了Oasis 3,一个声称能实时生成照片级真实驾驶环境的世界模型。TechCrunch提前拿到了独家信息,我仔细读完了整篇报道,感觉这个故事比标题看起来复杂得多。

    世界模型到底是什么

    先解释一下背景。所谓”世界模型”,简单说就是AI学会了对物理世界的运行规律建模,给它一个文本提示,它能生成一个你可以交互的虚拟环境。这东西在自动驾驶仿真、机器人训练这些领域有很大价值——你可以用它低成本地生成各种罕见的驾驶场景,不用真的去马路上冒险。

    Decart的Oasis 3主打的就是这个方向。他们声称这个模型能生成物理准确、多摄像头(一个前置加两个侧置)的驾驶环境,而且可以无限生成场景。目前通过API对外提供,定价是每秒0.02美元。

    Decart Oasis 3 世界模型演示
    Decart Oasis 3 生成的照片级真实驾驶场景丨来源:TechCrunch

    理想很丰满,现实有点骨感

    TechCrunch的记者亲自测试了Oasis 3,结果发现的问题还不少。最明显的一个:你让模型生成一个”早晨的纽约市街道”,它确实能跑出来,看起来挺像那么回事。但你往前开个一阵子,周围的场景就开始走样了,越来越不像纽约,最后变成了”任何一个西方城市的普通版本”。

    当你试图掉头回到最开始的那个路口时,你会发现它已经消失了,取而代之的是一个全新的环境。整个体验不像一个连贯的模拟,更像是一个梦幻般的、脱节的意识流。

    还有一个更基础的问题:物理一致性。在Oasis 3生成的世界里,汽车会直接穿过其他汽车,就像幽灵一样。Decart的CEO Dean Leitersdorf承认这是一个”正在破解的重大研究问题”,原因是”关于良好驾驶的数据远远多于事故数据”——模型没见过足够的事故场景,所以学不会避让。

    为什么效率这么高

    尽管有上述问题,Decart在技术效率上确实有两把刷子。他们的DOS(Decart优化栈)软件能让模型在英伟达、亚马逊和谷歌的硬件上高效运行,声称运行成本比竞争对手低一个数量级以上。

    Leitersdorf甚至说,公司整个生命周期的烧钱额”远低于”1亿美元。考虑到他们刚刚完成3亿美元融资、估值接近40亿美元,投资方里还有丰田、Adobe、eBay和英伟达,这个烧钱速度在今天的AI初创圈里确实算克的。


    拥挤的赛道

    世界模型这个方向现在挤得不行。谷歌今年1月发布了Genie 3的研究预览版,李飞飞的World Labs推出了商用产品Marble,Luma和Runway这些视频生成公司也在把他们的技术往世界模型方向转。Decart的差异化策略是:从第一天就开放API,让开发者在上面构建应用——这个玩法确实有点像OpenAI当年对LLM做的事。

    目前Decart已经积累了超过10万名开发者的社区,很多人用他们的实时视频模型Lucy在做电子商务和直播相关的产品。Oasis 3发布之后,这个社区规模大概率还会涨。

    至于世界模型什么时候能真正可靠到可以替代真实路测,现在还没人能给出确切答案。Decart说下一个版本会允许用户基于视频(而不是图片)来生成世界,这可能会改善一致性问题。但从根本上说,这个世界模型还是一个自回归系统——一次生成一帧,然后看之前生成了什么来决定下一帧,这个架构本身就很吃算力,要保持长时间的一致性非常难。