堪比Transformer奠基论文？这篇研究让AI圈吵起来了

这篇文章彻底颠覆了人工智能领域的认知，引发了广泛的猜测，Sam Altman 还公开表达了赞赏。 研究员 Adam Majmudar 在 X 上写道：这是今年最重要的成果，其重要性堪比《Attention Is All You Need》。它让我们从「对齐问题是否能解决」的阶段，迈向了「我们或许能在明年解决对齐问题」的阶段。 还有人称：「自己对神经网络的理解仿佛被推进了五年的时间。」 文章作者 Cammarata 表示，他发表的时间恰逢人们寻求希望的时刻。 人工智能安全领域的研究人员和政策制定者们最担心的是，强大的模型可能会带来巨大的风险。目前，他们迫切需要一条「生命线」来支撑自己。这是文章引起如此大反响的原因之一。 文章里提出的判断颇为大胆： 大型神经网络可能比人们过去想象的更容易理解，许多被视为难以拆解的内部结构，也许一直遵循着某种可以辨认的规律。 不过，伯克利非营利研究实验室 Alignment Research Center 的 Jacob Hilton 并不认为 Cammarata 的博客像大家所说的那样重要。 Hilton 在 X 上的推文指出， 研究人员对顶级 LLM 内部运作的了解不到 0.01%。 「我一直很欣赏 Cammarata 的乐观，但不幸的是，这给公众呈现了一幅对该领域现状不切实际的图景。」 原博客指路：https://already-clean.goodfire.com/ 黑箱，也许是我们看错了 几乎所有大模型都在某种程度上使用了神经网络。 神经网络是一种受人类大脑工作原理启发而设计的机器学习模型，由许多被称为神经元的小单元组成，这些神经元以层的形式相互连接。 Cammarata 长期从事神经网络可解释性研究，早年曾参与建立一套影响深远的理论框架。 早期视觉模型中，同一个神经元会对猫脸和汽车前部这两类图片作出反应。它到底在识别什么？猫？汽车？还是把两个毫不相干的概念塞在了一起？ Cammarata 当年也相信，模型内部有许多这样纠缠不清的概念。 研究者为此发展出了「叠加」假说。解释是这样的：模型要表达的概念实在太多，可用的神经元数量有限，于是网络只好把不同的概念挤进同一个表示空间。一个神经元，就这样承载了几个看似风马牛不相及的含义。 为了把这些缠绕的概念解开，研究者还专门开发了稀疏自编码器等工具，试图将神经活动拆解成更清晰的单元。 远处传来的几乎平面波（对角线）与鸭子航迹产生的波之叠加，在水中只近似满足线性关系 Cammarata 现在认为，当初可能想多了。 那个神经元，可能在识别一种 V 形结构。 猫脸的轮廓、汽车迎面形成的尖角、火焰的舌形和水流的分叉背后藏着同一种视觉规律。看起来毫不相干的对象，其实共享着同一个几何特征。 另一个曾被当作「叠加」证据的案例，也可能有更简单的解释。 研究者曾经发现，识别汽车的特征似乎藏在一组与狗有关的神经元里。Cammarata 重新检查后给出了另一种解释： 狗和汽车可能共享着一种拍摄角度上的规律——它们在图片里往往以相似的姿态正对镜头。 如果这些经典案例都另有解释，神经网络内部真的那么难以理解吗？ Cammarata 报告称，在改善架构和分析方式后，即使不增加模型规模或训练数据，早期视觉模型 InceptionV1 最后一层约 99% 至 100% 的神经元也能够得到相对清晰的解释。 他还研究了跨越约 300 倍规模的模型，认为这些模型在不同尺度下都保留了相当程度的可读性。 Cammarata 用「递归泛化」来描述自己观察到的另一种规律。 一个神经元在学习过程中，可能从某种狭窄的模式出发，逐渐延伸出与之相关的分支，就像树枝长出侧枝。 以语言模型为例，一个最初识别字母组合「iy」的神经元，后来可能对「diy」以及语义上相关的「do it yourself」产生反应。若只看模型训练完成后的触发清单，这些反应似乎相距很远；若追踪它们在学习过程中如何形成，就可能找到连续的关联路径。 在 Cammarata 看来，许多复杂现象来自普通模式不断扩展、组合和分化，而非概念被随意塞进同一个神经元。 这个思路已经有了初步的验证。在 Qwen3-32B 中，约 90% 的神经元正负响应方向各自具有一个主要功能，约 7% 涉及两个相关功能，尚未得到解释的部分约为 2% 至 4%。 越理解，越安全 如果能够可靠地追踪模型内部的信息流，安全研究就有机会从观察结果进一步深入到分析机制。 研究者可以尝试识别模型中的特定神经元、计算回路和信息传递路径，再通过干预实验，观察某种内部机制的变化是否会改变模型的行为。 如果一组神经元参与了某种推理，一条计算回路与特定的判断有关，那么研究者就有机会对它们进行更有针对性的检验。 相比只根据最终答案判断模型是否安全，这种方法试图把安全评估推进到行为产生的内