一个迟到六年的更正

2020年，Chris Olah 和 Nick Cammarata 等人在 Distill 上发表了《Zoom In》，这篇论文后来成了机制可解释性的奠基之作。文中有一个著名的例子：InceptionV1 图像模型里，有一个神经元同时响应猫脸和车头。这个"猫脸-车头神经元"被视为多语义性的经典证据——一个神经元塞进了两个毫不相关的概念，神经网络内部是一团乱麻。

2026年10月，Cammarata 本人发文说：那个例子，我们读错了。

那只神经元检测的不是"猫脸"也不是"车头"，而是V 形。狐狸的尖鼻子、火焰的尖端会激活它，圆形的东西（比如字母 O）甚至会把它的激活值推向负方向。猫脸有 V 形的耳朵和下巴，车头有 V 形的引擎盖折线——它们共享的不是一个被粗暴打包的概念，而是一个真实的几何特征。这不是 superposition，这就是一个诚实的形状检测器。

如果这只是一个图模型的旧案重审，不值得写一篇文章。真正有分量的是后面的数字：Cammarata 用现代 Agent 工具批量分析 Qwen3-32B，发现约 90% 的神经元极性只有一个主功能，约 7% 有两个相关功能，只有 2-4% 无法解释。可解释性公司 Goodfire 声称在万亿参数级模型上看到了类似结果。

作为对照：2023年 Cammarata 在 OpenAI 启动自动化可解释性项目时，即便按最宽松的标准，可理解的神经元比例也只有约 1.7%。

从 1.7% 到 90%，这不是渐进改善，是范式级的断言。

Superposition：一条建立在误读上的研究路线

要理解这个断言的杀伤力，得先理解 superposition 理论在过去几年里的地位。

Superposition 的核心叙事是：神经网络的概念数远多于神经元数，当网络"用完了"神经元，就会把不相关的概念塞进同一个神经元里，靠稀疏激活让它们互不干扰。结果就是多语义性——神经元是概念的大杂烩，直接读模型读不出东西。

这个叙事直接催生了一整条工程路线：既然原模型不可读，那就训练一个"翻译器"。稀疏自编码器（SAE）是其中的代表——Anthropic、DeepMind 等实验室投入大量资源，用 SAE 把纠缠的神经元拆解成数百万个"特征"，再研究这些特征。过去两年的可解释性进展——特征转向、追踪概念激活、发现欺骗回路——大量建立在这套拆解管线之上。

Cammarata 的攻击点恰恰在前提上：superposition 的证据可能是分析工具太弱造成的错觉。《Zoom In》里那个"藏在狗神经元中间的车"，他用现代工具重看后认为只是普通的泛化行为——那个回路实际在按"朝向相机的方向"给狗和车分组。InceptionV1 后期层的混乱，则被归因于过时的架构和粗糙的可视化方法。

对剩余的模糊性，他提出了一个替代解释：递归泛化。一个神经元像一个不断分叉的树枝：先识别字母序列 “iy”，后来扩展到 “diy”，再到 “do it yourself”——后者根本不含 “iy”。这些扩展不是随机的概念打包，而是沿着语义相关性生长的，而且每一层扩展都告诉你这个网络知道什么。这和 superposition 的"互不相关的概念挤在一起"是完全不同的判断：一个是噪声，一个是结构。

这里有个容易被忽略的方法论转向。Cammarata 引用了 Rich Sutton 的《苦涩的教训》，认为可解释性也逃不掉这条规律：大规模的简单调查，胜过精巧的拆解方法。他没有发明新方法，只是回到领域最初的做法——直接研究神经元——但用上了更好的工具、更大的模型和成千上万个并行工作的分析 Agent。论文作者正是 2020 年"误读"的当事人之一，这种"自查自纠"在科学史上并不罕见，但由 Agent 在几个月里完成人类近十年的复核工作量，是新变量。

Nanda 的反驳：别急着扔掉 SAE

学界反应分裂，最有分量的反对意见来自 Neel Nanda——DeepMind 可解释性团队负责人，也是这个领域的奠基人物之一。他的立场很微妙：

第一，他其实早就降了 SAE 的调门。从2024年中期起，他对"雄心勃勃的可解释性"转向悲观，团队已经把 SAE 研究降级——不是没用，而是不值得全领域押注这么重。

第二，但他仍然认为 superposition 是真实的。他的论据很硬：语言模型存储的事实数量远超它的神经元数量，这在数学上就要求某种形式的压缩存储；而弱激活里很可能藏着大量信息，Cammarata 的"单一主功能"统计恰恰可能把这些弱信号当成了噪声丢掉。

第三，方法论质疑：小图像模型上的发现未必能迁移到大语言模型；而且 Cammarata 对"单语义"的定义偏宽松——把"iy/diy/do it yourself"算作一个功能，批评者可以说这只是把多语义的边界画得更大而已。

有意思的是，双方的分歧可能部分是定义问题。Cammarata 并不否认模型能表示比维度数更多的概念——他否认的是"网络会任意地把毫不相关的东西打包在一起"。在这个更窄的口径上，两人未必真的对立。但工程后果截然不同：如果纠缠只是"相关概念的递归扩展"，那就不需要 SAE 这层翻译器，直接读原模型就够了，而且读出来的东西有语义结构。

还有两个必须交代的保留项：技术配套论文尚未发布；Goodfire 作为可解释性公司在这场争论中有明显的商业利益——如果"直接读神经元"成立，它的工具链正好站在风口上。

如果成立，改变的是什么

假设 Cammarata 的结论在大模型上被独立验证（这是目前最大的"如果"），影响会沿着三条线展开。

对研究路线： SAE 不是被证伪，而是被降级为特定场景的工具——处理那 2-4% 真正纠缠的神经元。整个领域的重心从"训练拆解模型"转向"用 Agent 大规模审计原模型"。可解释性的成本结构会崩塌式下降：不用先训练一个昂贵的学生模型再去猜老师，直接审老师本人。自动化研究员可能几个月完成人类十年的工作量——Cammarata 说，留给人类的时间可能不多了。

对 AI 安全： 这是最重要的一条。目前判断模型是否在欺骗、是否有危险倾向，手段极其有限，思维链监控又被证明越来越不可靠。Cammarata 的观点是：欺骗行为没有理由在模型自身的回路里隐藏自己——如果人类成为网络的"读者"，欺骗就是可读的，而且错误可以做定向修复。OpenAI 的 Roon 甚至说这是"科学史上的重要时刻"，对齐问题可能变成"常规科学"，连 Yudkowsky 都该下调末日概率。考虑到本周另一条新闻——Anthropic 向 METR 开放准内部审计权限——外部监督正在从黑箱评测走向内部检查，可读性每提高一分，审计的现实性就提高一分。

对监管与合规： 各国的模型审计框架（包括欧盟 AI 法案的高风险系统要求）长期面临一个尴尬：如果模型原则上不可解释，审计就只能停留在输入输出层面。范式修正期间需要特别小心的一件事是：“模型不可审计"这类结论不应在此时被作为定论写进监管文件——它依赖的可解释性前提本身正在动摇。

我的判断

三个预测，供时间检验。

第一，1.7% 到 90% 的落差里，大部分是工具进步，但也有一部分是幸存者偏差。Agent 批量分析倾向于给每个神经元找到一个"说得通"的故事——递归泛化的树状解释弹性很大，什么都能挂上去。Nanda 的"弱激活藏信息"质疑正打在这里。独立复核时，关键指标不是"能不能讲出故事”，而是这些故事能不能预测神经元在新输入上的行为。能预测的才是解释，讲得通的只是叙事。

第二，真相大概率在两者之间，且这个中间地带比双方立场都有趣。可能的情况是：大部分神经元确实是递归泛化的树枝结构（superposition 在窄口径上不成立），但模型的关键事实知识存储在分布式弱激活里（SAE 在这个子问题上仍有价值）。可解释性会分裂成两条并行路线，而不是一条取代另一条。

第三，无论结论如何，“Agent 做大规模科学调查"这个方法论本身就是本周最重要的信号。一个被领域奠基人误读了六年的经典案例，被自动化 Agent 复核推翻——这不是可解释性一个领域的事，这是科学本身的工作流在被改写。当复核旧证据的成本降到几乎为零，所有领域的经典结论都要准备好重新过一遍安检。

2023年只有 1.7% 的神经元可理解时，直接读模型是一条死路，拆解是唯一的希望。如果 90% 是真的，希望从来不在拆解上，而在读的耐心和工具上。范式修正期最危险的姿势，是把任何一方的当前结论当定论引用——包括这篇文章。

参考来源：The Decoder 报道、Cammarata 原文及其《Zoom In》(Distill, 2020)、Neel Nanda 与 Roon 的公开回应。