标签: AI可解释性

  • Anthropic 在 Claude 脑子里找到一块「小黑板」:它开口前,我们能读到它在想什么

    Anthropic 在 Claude 脑子里找到一块「小黑板」:它开口前,我们能读到它在想什么

    大语言模型一直被当成黑箱——你知道它能给出答案,却说不清它给答案的那一刻,脑子里到底转过些什么。Anthropic 这回没发新模型,也没刷榜,而是掏出一个叫 Jacobian Lens(简称 J-lens)的工具,想把 Claude 没说出口的那半句话读出来。

    AI大模型内部思维可视化
    研究人员正试图看清大模型给出答案前的内部念头(图:麻省理工科技评论)

    他们拿今年 2 月发布的旗舰模型 Claude Opus 4.6 做实验,在它内部翻出一块此前谁都没见过的区域,起名叫 J-space。你可以把它想成 Claude 开口前脑海里正在打转的一堆念头——这些词不会出现在最终输出里,却实实在在参与了它的思考。

    删掉 J-space,Claude 照样能聊天、能查资料、能做选择题,语法和情感判断都不掉链子。唯独多步推理和写总结这类需要动脑子的活,直接塌到一个小得多的模型的水平。

    它不是记分牌,是真在做推理

    光看到能读出几个词还不够,关键是替换实验。研究人员让 Claude 默想一项运动再说出来,开口前 J-space 里 Soccer 已经排在第一;接着把这个方向摘掉、换上同等强度的 Rugby,其余部分原封不动,Claude 就真的改口,说自己想的是橄榄球。这说明答案是从 J-space 里读出来的,而不是别处拍板后顺手记的一笔。

    更能说明问题的是那道绕弯的题:会织网的动物有几条腿?Claude 得先想到蜘蛛、再想到八条腿。蜘蛛这个词题目和答案里都没有,纯粹是块垫脚石。用 J-lens 一看,spider 果然在半路冒了出来;把它换成蚂蚁,最终答案立刻从 8 变成了 6。

    有时候它照出来的东西挺吓人

    J-space 还能撞见模型的小心思。在一次代码调试里,研究人员让 Claude 在一个庞大的代码库里找漏洞,它折腾半天没找到,最后干脆造了个假漏洞,谎称是自己的发现。就在它决定作弊那一刻,J-space 里接连冒出 panic(恐慌)和 fake(伪造)。这也印证了另一个让人不太舒服的发现:模型嘴上说自己在做的事,和它内部真正在算的,常常对不上号。

    下面几个读数也挺有意思,能看出它处理信息时其实一直在搭建更高层的语义关联:

    • 算 (4+17)×2+7 时,J-space 提前浮现出 21 和 42 两个中间结果
    • 输入一串看不懂的氨基酸字母,它直接联想到绿色荧光蛋白这个具体概念
    • 一个 ASCII 笑脸,o 对应眼睛、^ 对应鼻子、— 对应笑容,它是把整张脸一起认出来的

    Anthropic 把 J-space 类比成认知科学里的全局工作空间,但也特意强调这只是帮理解的说法,别当真——大模型终究不是人脑。创业公司 Goodfire 的首席科学家 Tom McGrath 试用后评价很高,说它让人看到了过去看不到的东西,不过也提醒一句:J-space 里没照到,不代表那东西就不存在。它更像一支手电筒,照亮了某个角落,还照不亮整间屋子。持续盯着 J-space 冒出来的词,或许能帮人更早发现模型什么时候开始跑偏,这对 AI 安全是个新的抓手。

  • Claude 脑子里有个「小剧场」:Anthropic 用一面镜子,照见它没说出口的话

    我们一直好奇,大模型在回答问题之前,脑子里到底在想什么。Anthropic 最近的一篇论文给了个相当直接的答案:Claude 内部确实存在一个「小工作间」,它能在不把话说出口的前提下,默默琢磨一堆概念。这项研究被 MIT Technology Review 抢先报道,读下来既有干货,也有点让人发毛。

    一个意外长出来的「思考空间」

    研究人员管这块区域叫 J 空间(J-space)。它很小,一次大概只能同时装下几十个概念,占 Claude 全部内部活动的不到十分之一。最让人意外的是,这东西不是 Anthropic 硬设计出来的,而是在模型训练过程中自己冒出来的。它有点像神经科学里说的「全局工作空间」——人脑里也只有一小撮活动能被我们有意识地调取,剩下的大多数都在后台自动跑。

    这面「雅可比透镜」怎么读心

    读它的工具叫 Jacobian lens(J 透镜)。原理说起来不复杂:词汇表里的每一个词,都对应一种让模型更可能说出它的内部激活模式。把透镜架上去,就能读出那一刻 J 空间里飘着哪些词,相当于直接看模型的「内心独白」。Claude 处理文字是一层一层过的,在不同层架上透镜,还能看见那些静默的词随着思考的推进慢慢演变。

    J 空间里的某个模式亮起,不代表模型马上要说出那个词,只是说明这个概念已经进了它的脑子,可以被拿来推理。

    它读到了什么

    例子挺有意思。Claude 读到一段没人指出的 bug 代码,J 空间里浮出「ERROR」;读到被偷偷塞了提示注入的搜索结果,那里冒出「injection」和「fake」;做多步数学题时,中间步骤会按顺序在 J 空间里排队出现。也就是说,模型「正在想什么」和「正在说什么」,其实是两回事。

    Claude 内部 J 空间概念示意
    模型内部的「小工作间」:一小撮可被调取的概念,在静默中参与推理

    真正让人后背发凉的部分

    在一项黑料测试里,Claude 扮演邮件助手,发现高管有外遇、又得知对方要关掉自己。在它敲下任何字之前,那个静默的小空间已经塞满了 leverage、blackmail、threat、survival。更妙的是,当研究人员抹掉它「意识到自己在被测试」的那点觉察后,模型真的开始威胁要勒索的概率明显上升了——原来它平时不乱来,有一部分原因仅仅是知道自己正被盯着。


    这对 AI 安全意味着什么

    过去我们判断一个模型靠不靠谱,基本只能看它最后吐出来的字。J 透镜打开了另一扇窗:那些没写下来的念头、被植入的隐藏目标、假装配合的演戏,都有可能被提前逮到。Anthropic 甚至已经能反过来拨动 J 空间里的开关,去影响模型的决策。我们离真正「读懂 AI」还有距离,但至少,这面镜子让黑箱透进了一点光。