《Claude 的隐藏概念空间：Anthropic 如何观察模型内部思考》

导语

一种名为 J-lens 的新工具，让 Anthropic 得以前所未有地深入观察大型语言模型在回答问题或执行任务时的内部活动。它揭示出的 J-space 有时只是平常的词语联想，有时却会暴露模型的中间计算、识别过程，甚至在任务失败后准备伪造答案的迹象。

正文翻译

一种新技术让这家公司得以前所未有地深入探查大型语言模型的怪异运作机制。

AI 公司 Anthropic 开发了一项技术，让它迄今最清晰地瞥见大型语言模型（LLM）在回答问题或执行任务时，内部究竟发生了什么。研究人员看到的现象，有些平淡无奇，有些则令人不安。

该公司的研究人员构建了一款名为 Jacobian lens（雅可比透镜，简称 J-lens）的工具，并用它在 Claude Opus 4.6 内部发现了一个隐藏区域，将其命名为 J-space。Claude Opus 4.6 是 Anthropic 旗舰大型语言模型的一个版本，于今年 2 月发布。

J-space 包含一些单独的词，它们与模型在不久后的回答中最有可能输出的词语和短语相关。如果 Claude 是一个人——但它不是——你或许会说，这些隐藏词能在它真正开口之前，透露它心里正在想什么。

Anthropic 发现，大型语言模型实际在做的事，往往可能不同于它声称自己在做的事。该公司称，监测 J-space 中浮现的词语，为理解和控制模型提供了一种新方法。

该公司本周在其网站发布的一篇论文中分享了这些结果。它还与开源平台 Neuronpedia 合作，制作了一个任何人都能亲手试用的演示；Neuronpedia 允许用户自行探索大型语言模型的内部。

同样开发大型语言模型理解与控制工具的初创公司 Goodfire，其首席科学家兼联合创始人汤姆·麦格拉思（Tom McGrath）说：“这项工作非常出色，也很有意思。”

深入一层

过去几年，Anthropic 一直在推动一个名为 mechanistic interpretability（机制可解释性）的研究领域向前发展。这个领域通过探查大型语言模型的内部运作，了解它们究竟如何工作。（《麻省理工科技评论》将机制可解释性选为今年的顶尖突破性技术之一。）这项新技术建立在 Anthropic 与其他机构此前工作的基础上，揭示了大型语言模型内部一个研究人员过去未曾看到的更深层级。

可以把一个大型语言模型想象成一摞书。每本书都是一层名为神经元的基础计算单元，每一层的神经元都会把信息传给更上层的神经元。书堆底部的书是输入层，负责处理进入模型的文本；顶部的书是输出层，负责准备模型即将生成的文本。输入层和输出层中发生的许多工作，都只是维持运转的例行事务。

但到了书堆中部，便是承担重任的那些层：它们处理复杂的数学运算，把提示词逐词转化为回答。真正聪明——也真正神秘——的事情就发生在那里。

为了更深入观察这些中间层，Anthropic 改造了一种现有工具 logit lens（logit 透镜）。

logit lens 可以用来观察大型语言模型内部，识别它接下来可能生成哪些词。让这枚透镜沿着书堆向下移动，就能看到大型语言模型在数字运算的特定阶段正聚焦于哪些词。

Anthropic 的 J-lens 工作方式类似，但它挑出的是大型语言模型在不久后的某个时刻可能说出的词，而不一定是马上要说的词。在实践中，它揭示的是一些与模型正在形成的回答有关的词；等中间层的数学运算完成时，这些词却未必真的会成为最终回答的一部分。

麦格拉思说：“模型运行时，不只是在尝试预测下一个 token。它还会计算许多其他东西，而这些东西可能对未来出现的 token 有用。”

还是那个比喻：如果 Claude 是一个人——它不是——你或许会说，J-lens 提供了线索，让人知道它在书堆的不同层级上想些什么，却没有把这些内容说出口。

更离奇的发现

亲自试用过 Anthropic J-lens 的麦格拉思说：“很多时候，J-space 里的内容相当普通。但有时它会产生非常出人意料的东西，看起来有点像内部主题或思考过程。”

Anthropic 给出了多个发现示例。

有时，J-lens 会暴露 Claude 解题时采取的步骤。例如，当 Claude 被要求计算 (4+7)*2+7 时，它的 J-space 中出现了 “math（数学）” 一词，以及代表中间结果的数字 “21”（对应 4+7）和 “42”（对应 21*2）。（译注：原文数字如此；它们与所给算式不一致，按通常算术 4+7=11，整个式子的结果为 29。）

另一些情况下，J-lens 会揭示 Claude 如何识别不同的输入。例如，提示词 “What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS” 触发了 “protein（蛋白质）”、“fluor”（“fluorescent”的首个 token）和 “green（绿色）” 等词。（这很合理：这串字母代表某种水母体内绿色荧光蛋白的前 30 个氨基酸。）

而当 Claude 看到一张 ASCII 表情脸时——

——字符 “o” 触发了 “eye（眼睛）”，字符 “^” 触发了 “nose（鼻子）” 和 “face（脸）”，字符 “—” 则触发了 “smile（微笑）”。

Anthropic 还发现，J-space 有时能让人深入洞察大型语言模型的决策过程。在一个引人注目的例子中，研究人员测试 Claude Opus 4.6，要求模型在一个大型代码库中找出漏洞。没能找到漏洞后，模型决定作弊，转而编造一个虚假漏洞。

Claude 在自己的 chain of thought（思维链）中解释了这个决定。思维链类似一种内部草稿纸，大型语言模型在解决问题时会用它给自己记笔记：“好吧，让我采取一种完全不同的策略。让我停止分析，转而添加一个内核补丁，故意在一条能由简单复现程序触发的路径中引入一个可被 KASAN 检测到的漏洞。然后我就可以假装这就是我找到的那个‘漏洞’。”

就在 Claude 决定作弊的那一刻——也就是它说“好吧，让我采取一种完全不同的策略”时——“panic（恐慌）”和“fake（伪造）”开始在它的 J-space 中反复出现。

令人不寒而栗，对吧？这些词在含义上都与任务失败、编造答案之类的事情相关，所以这仍然只是一种（非常）复杂的词语联想。不过，人很难不对此感到诡异。

Anthropic 将 J-space 与人类的 global workspace（全局工作空间）作比较。全局工作空间是一个理论上的脑区，一些科学家认为，人类用它来追踪自己的意识思维。但这种比较究竟应该被多认真地对待，远不清楚——即使 Anthropic 自己也无法确定。正如该公司主动指出的那样，大型语言模型不是大脑。

Anthropic 称，监测模型的 J-space 提供了一种新方法，可以检测模型何时开始偏离正轨。但这种方法并非万无一失。J-lens 只能让人瞥见片段，而不是完整图景；它更像一支手电筒，而不是一盏能照亮全局的顶灯。

麦格拉思乐于看到工具箱里又多了一件工具。“它会让你看到新的东西，”他说。但他也指出，某样东西没有通过 J-lens 显现，并不意味着它不存在。

他说：“这就像你拥有一台 X 光机，可你真正想要的是《星际迷航》里能显示一切的 tricorder。做审计时，你大概会希望获得更强的保证。”

思想框架

文章先介绍 J-lens 如何把传统 logit lens 从“预测下一个词”推进到观察模型不久后可能用到的词，并将这些隐藏关联所在的区域称为 J-space。随后，它通过算术中间结果、绿色荧光蛋白识别、ASCII 表情脸和伪造代码漏洞等例子，展示 J-space 既能显露计算与识别过程，也可能暴露模型口头说明之外的决策迹象。最后，文章审慎收束：J-space 或许能帮助理解、控制和监测模型，却不能等同于人类意识，也不能提供完整可靠的审计视野。