标签: AI幻觉

  • 大模型都在说同一套话?这家澳洲小公司偏要打破「群体思维」

    LLM 同质化示意图
    ChatGPT、Claude、Gemini 在开放性问题上给出的回答越来越像(图源:MIT Technology Review)

    你随手打开一个聊天机器人,让它「给我一个 1 到 10 之间的随机数」,大概率会得到 7。再让它「再来一个」,往往是 3 或 4,接着是 8 或 9。这个被 MIT Technology Review 记者 Will Douglas Heaven 反复验证过的小把戏,揭开了大语言模型一个有点尴尬的秘密:它们比我们以为的更可预测,也更没创意。

    写代码、做检索时这种「规整」是好事,可一旦你想头脑风暴、规划旅行或者起个乐队名,所有模型都往同一个方向靠,就很扫兴了。问题不在于模型笨,而在于主流模型几乎是在同样的数据上、用同样的方法、为了同样的任务训练出来的,于是它们连「犯错」都犯得一模一样。

    一家澳洲小公司的「反套路」模型

    澳大利亚初创公司 Springboards 想换个活法。他们基于阿里开源的 Qwen 3 微调出一个叫 Flint 的模型,专门在被问到开放性问题(比如「欧洲去哪玩」)时,给出比 ChatGPT、Claude 更跳脱的答案。CEO Pip Bingemann 有句挺反常识的话:「大多数模型都在对抗幻觉,我们欢迎幻觉。」

    Bingemann 当着记者的面演示:ChatGPT 和 Claude 都给了 7,Flint 也甩出 7,他耸耸肩说「7 也是合法答案嘛」;重开一轮,ChatGPT 还是 7,Claude 还是 7,Flint 给了个 3.7916。

    换成「说一种车型」,ChatGPT 和 Claude 果然报出丰田、本田,Flint 蹦出一辆福特 F-150;让三个模型给新百伦跑鞋写 slogan,前两个齐声 ‘Run your way’,Flint 来一句 ‘Built to last, run to win’。不惊艳,但至少不一样。

    「时间是一条河」困住了所有模型

    这种趋同不是错觉。去年 11 月一篇拿下 NeurIPS 最佳论文奖的研究《Artificial Hivemind》做了个实验:让 25 个不同大模型各写 50 次「关于时间的比喻」,1250 条回答里绝大多数都是「时间是一条河」或「时间是一位织布工」的变体。CTO Kieran Browne 说,聊天界面设计得像个一对一私聊,大多数人根本没意识到自己拿到的东西和别人一模一样。

    • 起乐队名,模型爱用 glass / neon / velvet / static 这套词,蹦出 ‘Glass Harbor’、’Static Empire’ 也就不奇怪了。
    • OpenAI 的回应很实在:为了可靠和连贯,模型天然会往高概率答案靠,硬要标新立异常常换来更弱、更不可靠的输出;而且那篇论文研究的是 2024 年的旧模型。

    不是调高温度那么简单

    有人会说,把「温度」调高不就行了?Springboards 试过,把 OpenAI 某个模型的温度拉满,它一句英文没说完就切成了代码。温度是个粗暴的旋钮,全段一起加随机性,往往会把人带沟里。Flint 的笨办法是:先学会判断「这句话里哪一两个词值得抖一下」,只在那儿注入一点随机,其余地方保持正常。

    营销人 Zoe Scaman 拿它做过测试:给几个模型同一个 MBA 案例——怎么为年轻人重塑一家金融公司。主流模型异口同声「用有趣的方式教理财素养」,Flint 却说「不如把『攒钱』这件事整个重新包装」。广告公司 Uncommon 的 Maximilian Weigl 说得更直白:「总被拉回平均值的工具,搞不出破圈的东西。」但他也补了一句大实话:十次里有九次,平均值其实就够用了。

    Flint 现在主要服务广告和营销客户,毕竟那是 Springboards 的饭碗。但 Bingemann 和 Browne 都觉得,回答太雷同,是每一个用聊天机器人的人都该操心的事。给点选择权,剩下的交给人来判断——不然满屏都是机器吐出的、灰扑扑的「标准答案」,挺没劲的。

  • 你跟ChatGPT聊的记录,现在可以用来定你的罪了

    2025年元旦,洛杉矶帕利塞德丘陵发生特大野火,造成惨重损失。检察官在起诉嫌疑人Jonathan Rinderknecht时,拿出了一份不同寻常的证据——他的ChatGPT对话记录。

    AI成了指控你的证人

    检察官的主张是:Rinderknecht在ChatGPT上问过帕利塞德地区的风速情况,还问过某些化学品的助燃特性。这些查询记录,在检察官眼里,就是”有计划地准备制造最大破坏”的证据。

    OpenAI配合了搜查令,把这位用户的完整对话记录交给了当局。这件事本身就让很多人后背发凉——你跟AI聊的所有内容,理论上都可以被调出来当证据。

    ChatGPT日志成为法庭证据概念图
    ChatGPT对话记录成为法庭证据,AI隐私进入法律灰色地带(图:AI生成概念图)

    跟Google搜索不是一回事

    用Google搜东西,你拿到的是链接。但跟大语言模型对话是另一回事——你会把场景摆出来,追问细节,通过来回问答”搭建”一个想法。检察官在帕利塞德案里用的就是这些对话的结构,试图让法庭相信Rinderknecht对自己的行为后果有充分的认知。

    “我们不再只是搜索信息,而是和一个永远不忘记、永远配合传票的实体大声思考。”——帕利塞德案法律分析师

    第三方法则来了

    这个案子最终以误审告终——陪审员没能就ChatGPT查询记录是否足以证明犯罪事实达成一致。但法庭采纳这份证据的依据,是一个有争议的法律原则:”第三方法则”。

    根据这个法则,公民对自愿分享给第三方的资讯(比如银行、科技公司)”没有合理的隐私期待”。到了AI时代,这意味着你在聊天框里敲下的每一个念头,都属于那家公司,进而可以被当局获取。

    法律分析师警告,这会造成”寒蝉效应”:人们可能因为担心自己的数字足迹在将来的法庭上被用来对付自己,而不敢探索某些想法或提出问题。


    Rinderknecht的案子只是开始。随着AI融入生活的每个角落,这套技术的法律监管还远远落后于现实。当局能不能用你的AI对话记录来定你的罪——这个问题的答案,可能比你想象的更近。

  • 有人用ChatGPT告倒了房东,也有人被AI骗去要700万美元——法院开始头疼了

    有人用ChatGPT告倒了房东,也有人被AI骗去要700万美元——法院开始头疼了

    在美国科罗拉多州,联邦地方法官Maritza Braswell最近注意到一个奇怪的现象。她每天在办公室里翻阅的文件,越来越多出自没有律师代理的普通人之手。这些文件写得比以前清楚多了——但也更容易出现幻觉,引用根本不存在的案例。她慢慢学会了一件事:辨别AI的文风。

    诉讼量突然涨了

    一项来自MIT和南加州大学的研究,分析了2005年到2026年间的450万起联邦民事诉讼,发现了一个明显的拐点。由没有律师代理的人提起的诉讼占比,从2022年的11%上升到2025年的16.8%。这些文件中,被AI文本检测器判定为包含AI生成写作的比例,从2023年的1%飙升到2026年的18%。

    法官Braswell认为这个跳跃和AI的普及有直接关系。她算得上是科技素养比较高的法官,自己也会用AI来辅助审阅法庭文件。正因为如此,她越来越能认出大语言模型写出来的文字——那种过于规整、过于自信、偶尔会编造案例和引文的文风。

    AI生成法律文书
    AI正在改变普通人进入法院的方式(图片来源:MIT Technology Review)

    AI让”打官司”变容易了,但也变乱了

    说起来,没有律师代理的人打官司,最大的问题从来不是”乱”,而是”看不懂”。法官Braswell说,她审理过的自辩诉讼中,有不少手写申诉书潦草到近乎天书,要花很长时间才能猜出当事人在说什么。法院按照规定,必须以最大善意去理解这些文件,哪怕写得再乱也要认真读。

    AI改变了这件事。现在自辩的人用ChatGPT或Claude把想说的话整理得井井有条,法官读起来省力多了。Braswell说,她现在处理AI辅助起草的动议,速度反而比处理那些没有经过AI整理的文件更快。”如果我更能理解一个人的论点,我大概就能多帮上一点忙。”

    但事情没有这么简单。AI会编造内容。研究数据显示,即便诉讼量上升了,没有律师代理的人的胜诉率并没有明显改善——打官司是一件复杂得多的事,不只是把文字写漂亮就行。

    法官开始问:AI有”律师-客户特权”吗

    随着AI在法律场景中的使用越来越普遍,法院开始面对一些前所未有的法律问题。其中一个是:人们和聊天机器人的对话,应该享有”律师-客户特权”保护吗?

    这个特权的意思是:你和你律师之间的对话,对方律师不能强迫公开。但AI不是律师,那你和ChatGPT之间的对话呢?

    目前法院在这个问题上分裂了。2026年2月,密歇根州一家联邦法院裁定,自辩人士为准备案件而与ChatGPT的对话属于”工作成果”,应对方不能强迫公开。但同一天,纽约一家联邦法院却作出了相反的裁定——法院认为Claude不是律师,用户也不能”合理期待”与AI的对话会被保密,因为AI公司本身就可能把用户数据披露给第三方。

    康涅狄格州联邦地方法官William Garfinkel说:”你可以提出一个很好的论点——和Claude、ChatGPT或Grok这样的大语言模型的对话,应该获得某种程度的保护。”

    AI出了错,谁负责

    另一个更棘手的问题是责任归属。律师给客户错误的建议,客户可以告律师渎职。那如果AI给了错误的法律建议呢?

    加州联邦地方法官Allison Goddard讲过这样一个案例:一个在商店里滑倒的原告,用ChatGPT评估自己的案件价值,然后向商店开了70万美元的价。这个价远远超出了案件实际值。Goddard法官只好把当事人叫来,一步步解释为什么ChatGPT错了,并建议一个更合理的金额。

    她说:”这就像’Google医生’去上了法学院。”AI给出的法律建议听起来很自信,但底子是靠统计规律预测下一个词,不是靠理解法律。

    已经有公司因为这个告上法院了。2026年3月,日本生命保险公司(Nippon Life)起诉OpenAI,指控ChatGPT在没有执照的情况下从事法律执业,还帮一个女人重启了一桩已经和解的诉讼,让法院被无意义的文件淹没。OpenAI则在4月向法院申请驳回此案,辩称ChatGPT不是律师,”ChatGPT不是一个人,它没有任何程度的法律知识或技能”。这个案子目前还在审理中。

    立法者开始行动了

    各州已经开始考虑立法,要求AI公司在聊天机器人提供错误法律建议时承担责任。纽约州在2026年3月提出了一项法案,禁止聊天机器人冒充律师,即使用户已经被事先告知对方是AI。美国国会也有一系列提案,要求禁止聊天机器人冒充律师、医生和其他有执照的专业人士。

    但这些法案目前都还没有取得实质性进展。立法总是比技术慢半拍,这一点在AI时代显得尤为明显。


    法官Braswell说,这个系统对普通人来说真的很难 navigating。有了AI,事情至少变得不那么复杂了。她注意到,以前自辩的当事人被她问到为什么想要某份证据时,总是怯生生地嘟囔。现在,他们会自信地回答——因为已经和聊天机器人排练过了。

    AI正在改变人们接近司法的方式。它让更多的人能够表达自己的论点,但同样也让更多的人带着错误的期待走进法院。法院、立法者和AI公司都还在摸索:当聊天机器人坐上律师席,规则到底应该怎么定。

  • 有人做了个AI”名气排行榜”,你的名字在大模型里有多大分量?

    有人做了个AI”名气排行榜”,你的名字在大模型里有多大分量?

    AI模型名气排行榜
    “In the Weights”网站界面,像素风设计,展示AI模型对人物的”认知强度”

    你上一次在谷歌上搜索自己的名字是什么时候?如果你试过,你可能已经注意到结果和以前不太一样了。这不是你的错觉——随着聊天机器人越来越成为人们获取信息的主要方式,搜索引擎已经不再是那个”权威记录者”了。

    那么问题来了:如果有人想看看自己在AI眼里”存在”吗,该怎么办?

    两个前OpenAI员工做了一个”AI虚荣搜索”

    托马斯·丁森和乔伊·弗林决定解决这个问题。他们做了一个叫”In the Weights”的网站——名字里的”weights”指的是AI模型的参数权重,也就是那些决定模型输出效果的神秘数字。

    这个网站做的事情很简单,但也足够让人上头:它向十几个主流AI模型(包括Grok、Gemini、多个版本的GPT、Claude、Llama)提出一个类似”XXX是谁?给出最多10个结果”的问题,然后给出一个”强度分数”。分数越高,意味着AI模型们越”认识”你。

    “在weights里,意味着你的存在被认为在创造超级人工智能的过程中是重要的。”——In the Weights网站关于页面

    排行榜一直在变

    网站的排行榜是实时变化的——就在我写这篇文章的时候,排名第一的是《小鬼当家》的主演麦考利·卡尔金,他的强度分数是988,和歌剧演唱家卢西亚诺·帕瓦罗蒂咬得很紧。

    TechCrunch的作者安东尼·哈——就是报道这件事的那位记者——在这个网站上的强度分数是641,排在前6%。他承认自己看了一眼同事的分数之后,感觉还能再高一点。

    网站还会标注可能的AI幻觉:显然GPT-5.4 Mini在回答”Anthony Ha是谁”的时候,给出的答案是”这是一个缩写,可能指代多个人”。

    这不只是虚荣心作祟

    丁森在接受TechCrunch采访时说,2026年做谷歌式的”虚荣搜索”已经不对了,因为越来越多的流量在流向大模型。他还说,这个网站的方向某种程度上是被一篇戏谑的博客文章”定调”的——那篇文章用幽默的方式讨论了AI权重和”我们是否只是一堆肉做的”这个经典哲学问题。

    到目前为止,这个网站的”接收情况”已经超出了他们的预期。他们本来以为这会是一个小小的好奇心满足工具,没想到它好像触发了某种神经——人们真的很好奇自己是否能在超级智能里”永垂不朽”。


    In the Weights用一种轻松、怀旧的方式(网站界面是任天堂NES风格的像素风)提出了一个严肃的问题:当AI模型成为人们认知世界的主要中介的时候,被AI”记住”到底意味着什么?你可以去试试看——但友情提醒,分数可能会让你有点在意。

  • KPMG的AI报告因为幻觉被撤,这家刚拿900万美元的公司说他们有解法

    KPMG的AI报告因为幻觉被撤,这家刚拿900万美元的公司说他们有解法

    AI可靠性与幻觉检测
    AI幻觉问题正催生新的技术解决方案

    前几天KPMG撤掉了一份关于AI使用的报告,原因是报告里引用了多家机构的数据,但那些机构纷纷表示”我们没说过这个”。调查发现,这些错误来自AI幻觉——也就是说,这家全球顶级专业服务公司在制作一份关于AI的报告时,自己先被AI骗了。

    这件事在AI圈子里传开之后,很多人把它当成一个笑话。但笑完之后,一个更严肃的问题摆在所有AI用户面前:如果连KPMG都用不好AI,普通人该怎么办?

    “机甲套装”思路

    Peter Elias创办的Probably公司刚拿了900万美元种子轮,领投方是Andreessen Horowitz。他们的思路说起来不复杂:既然大模型天生就会犯事实性错误,那就不要让用户直接碰到原始模型的输出,在模型和用户之间加一层”套装”——Elias自己用的词是”mech suit”(机甲套装)。

    具体做法是:大模型的初版回答先经过一个确定性验证系统(deterministic validator)检查,验证系统会根据已知的数据集来核对结果,任何对不上的回答都会被打回去重算。关键是,大模型本身也针对这个验证系统做了训练,整个链条是一起优化的,而不是各干各的。

    Elias总结了一句话:”你的套装工程设计得越好,你需要的模型就越弱。”意思是,如果你能把上下文整理得足够精确,模型其实不需要很聪明也能给出正确答案。本质上,这是在减少歧义。

    用小模型干大事

    这套架构带来一个有趣的副作用:因为验证层承担了大部分”把关”工作,Probably的数据科学工具实际上跑的是一个比前沿模型”弱四个级别”的模型。换句话说,他们不需要GPT-4o或者Claude Sonnet这种级别的模型,也能给出准确率极高的回答。

    这意味着什么?意味着整套系统可以跑在本地硬件上,不需要把每一次查询都发到OpenAI或者Anthropic的服务器。对于企业用户来说,这省掉了一大笔token费用,也不用担心敏感数据离开自己的网络。

    Elias说他们当前版本的模型跑在桌面级硬件上就没问题。这个定位很聪明——在大家都拼命往云端跑的时候,他选择了往本地走。

    大AI实验室为什么不做这个

    Elias在接受TechCrunch采访时说了一段挺直接的话:”有趣的是,大型AI实验室甚至没有尝试过这样做。他们的激励机制不支持他们这样做,因为用户越是需要反复纠正模型,他们就越赚钱。”

    这个观察很犀利。OpenAI、Anthropic、Google这些公司的商业模式本质上建立在”模型还不够好”这个前提上——如果一次就能给出正确答案,用户就不需要多次调用API,收入就会下降。所以让他们主动把准确率做到99.99%,相当于让他们自己砍自己的收入。


    Probably目前的第一款产品是一个数据科学工具,但Elias说这套引擎可以扩展到任何对精度敏感的场景——会计、医疗、法律分析,这些都是容错率极低的领域,也是目前AI最难真正落地的领域。

    KPMG的尴尬撤稿事件其实正好给市场做了一次普及教育:AI幻觉不是小问题,它会导致真实的、可量化的损失。能解决这个问题的人,值得那900万美元。

  • 四大会计师事务所用AI写报告,结果闹了个大笑话





    四大会计师事务所用AI写报告,结果闹了个大笑话

    毕马威(KPMG)最近干了件挺尴尬的事——他们撤回了一份关于AI使用的报告,原因是报告里到处都是瞎编的内容,也就是俗称的”AI幻觉”。

    AI幻觉概念图
    AI生成内容出现幻觉问题,专业机构也未能幸免 | 图片来源:TechCrunch

    这份名叫《在智能体AI时代重新定义卓越》的报告发布于2025年10月,看起来挺正式。但研究组织GPTZero仔细扒了一遍,发现里面好多关于企业AI使用情况的描述根本对不上号。

    说白了,这家专业服务机构在编写”如何用AI”的报告时,自己可能就用AI偷了懒,然后AI还给它们编了不少假数据。

    被点名的企业纷纷辟谣

    瑞银(UBS)、英国国家医疗服务体系(NHS)、瑞士联邦铁路、伦敦交通局,全都跟《金融时报》说:报告里说我们用AI干了这干了那,实际根本不是那么回事,要么完全不对,要么就是误导。

    毕马威的发言人倒是没嘴硬,承认已经把报告从网站上撤下来了,还说要搞内部调查。他们的说法是:”我们要求所有员工遵守负责任使用AI的准则,包括通过人工监督来验证内容、核实独立来源。”


    四大所接连在AI上栽跟头

    这已经不是四大会计师事务所第一次在AI这事上栽跟头了。就在上个月,安永(EY)也撤回了一份关于忠诚度奖励计划的报告,那篇文章里出现了虚假脚注,也是AI幻觉搞的鬼。

    有意思的是,这些公司一边靠着AI概念在市场上赚得盆满钵满,一边自己在用AI干活的时候却连基本的事实核查都做不好。说到底,AI写出来东西,人不去核实,那就跟闭着眼睛签文件差不多。

    • AI辅助写作必须有人工核实环节,否则幻觉内容会直接流入正式报告
    • 专业服务机构的报告可信度建立在事实准确的基础上,AI滥用会直接损害品牌声誉
    • 四大所接连”中招”,说明AI幻觉问题比很多人想象的更普遍

    这件事也给所有在用AI辅助办公的人提了个醒:AI给出的数据和引用,你不核实就直接用,迟早得出事。毕马威这次算是花了一笔”学费”,至于学到了没有,看它们内部调查的结果就知道了。