从特征叠加到功能词元：大语言模型类人能力的科学揭秘

导语：从特征叠加到功能词元假说，字节跳动最新研究联合Anthropic的发现，为你深度拆解大语言模型的类人语言与推理能力究竟从何而来。

引言：大语言模型展现的类人能力从何而来？

ChatGPT问世以来，大语言模型（LLM）在对话、写作、编程等任务中的表现令人惊叹。人们不禁要问：它们真的理解了语言吗？它们是如何像人一样“思考”和推理的？字节跳动研究者李航、张少华、林苑近期发表的一篇论述文章，系统总结了LLM的机器学习原理、内部机制研究进展，并提出了功能词元假说，为我们理解这些能力提供了新的视角。

图1：LLM 的语言和思考能力、工作机制、实现原理和方法之间的关系

LLM 学到了什么？——高阶模式假说

与乔姆斯基等语言学家认为“语言模型仅学到表层统计规律”的观点不同，越来越多的证据表明，LLM 学习到的不仅是词汇和语法的低阶模式，更包含语义、语用乃至世界知识的高阶模式。当我们要求模型“用英文回答喜马拉雅山的高度”时，它展现出语用能力；当辨析“金门大桥与金拱门的关系”时，它整合了语义与世界知识。这些行为难以用“表面形式”来解释。

从内部机制看，研究者通过稀疏自编码器（SAE）等工具，已经在模型内部识别出数十万乃至百万量级的可解释特征，例如“金门大桥”“谄媚”等概念特征。这些特征往往呈现层次化分布：浅层多为词法与简单语法特征，中间层承载复杂语法和基本语义，深层则负责复杂语义、推理实现和输出表达。这表明 LLM 不仅存储了低阶统计，更构建了丰富的概念体系，从而支撑起类人的语言与推理能力。

不止是“预测下一个词”——LLM 的整体实现原理

很多人将 LLM 的成功简单归结为“Next Token Prediction（NTP）”。但从技术整合的角度看，其能力源于策略、模型、算法与数据的系统化协同。预训练阶段，极大似然估计（等价于数据压缩）让模型从海量语料中学习统计规律，Transformer架构凭借自注意力和前馈网络实现了强大的语言和知识表示能力，随机梯度下降则帮助找到泛化性良好的解；后训练阶段，强化学习从人类反馈中微调策略，使生成更符合人类偏好。

这一系列机制的融合，使 LLM 从“预测下一个词”的任务中涌现出高级智能。正如文章所指出的，将成功简单归因于 NTP 是过于简化的理解——关键更在于对大规模计算、高质量数据和精妙训练范式的工程实现。

解开黑箱：特征叠加假说与稀疏自编码器

LLM 内部如何编码如此丰富的概念？Anthropic 提出的特征叠加假说（Superposition Hypothesis）提供了关键解释。传统观点认为一个神经元表示一个特征，但实际网络中神经元与特征呈多对多关系。特征叠加假说指出：神经网络的一层（实际层）可以通过高维、稀疏的“宽层特征向量”来近似表示远多于神经元数量的特征，代价是特征间存在轻微干扰。

例如，处理“桥”这个词时，宽层可能同时激活“金门大桥”“旧金山”“桥梁结构”等少数特征，其他维度为零。这种稀疏性保证了大量近乎正交的特征能被压缩到相对低维的稠密向量中。训练过程中，模型为了同时满足“表示尽可能多的特征”和“使用尽可能少的神经元”，自然演化出叠加机制，ReLU 激活函数也促进了特征的稀疏化。

图2：原始的前馈神经网络与近似等价的更宽的神经网络

为了“解压”这些叠加的特征，研究者开发了稀疏自编码器（SAE）。SAE 由编码器和解码器组成：编码器将 LLM 某层的残差流映射成高维稀疏特征向量，解码器则用线性变换（无激活函数）重构原始输入。训练时在重构误差和稀疏性之间平衡，最终得到的特征向量正对应着特征叠加假说中隐含的概念。借助 SAE，人们已能从 LLM 中提取出具有明确语义的可解释特征，证实了模型内部确实存在丰富的概念表示。

功能词元假说：记忆如何被编码与检索

字节跳动团队进一步提出功能词元假说（Function Token Hypothesis），揭示了 LLM 记忆机制的核心：特征的记忆与检索围绕功能词元展开。功能词元指的是语料中出现频率最高的词元，如 “the”、标点符号、换行符等，它们在语法连接中起关键作用。统计显示，前 100 多个高频词元就占据了所有词元出现次数的约 40%。

在预训练中，“功能词元 → 内容词元”的预测损失下降最慢。这是因为功能词元往往标志着一个语言单元的结束，要预测其后的内容词元，模型必须理解从开头到当前的全部语境——这种困难的预测任务成为驱动优化的主导力量。随着训练深入，功能词元逐渐与大部分特征建立起连接：少量高频词元（如 top 10）能（在不同上下文中）激活 70% 的特征，形成幂律分布。

推理时，功能词元发挥记忆检索的核心作用。它们从上下文中动态激活最具预测性的特征，抑制无关特征，从而引导下一个词元的生成。例如，当提示为 “Answer the question in Chinese: What is the capital of Russia?”时，冒号 “:” 会激活“用中文回答”和“俄罗斯”等特征，使模型输出“莫斯科”。

图3：LLM 推理过程中功能词元发挥着记忆检索的核心作用

功能词元假说对训练实践有深刻启示：数据的格式至关重要。后训练阶段仅需少量步骤就能显著提升指令遵循和思维链推理能力，可能正是因为调整了功能词元的激活模式，从而唤醒预训练中已习得的特征。

跨层特征回路：CLT 与归因图

SAE 只能观察单层特征，而复杂的推理往往依赖跨层信息流动。为此，研究者开发了跨层转码器（CLT）。CLT 以某一层的残差流为输入，通过跨层线性映射复现后续各层的残差流，从而学习到特征在不同层之间的影响关系。

基于 CLT 可构建归因图（Attribution Graph），它是一个有向无环图，节点代表激活的特征或词元嵌入，边表示跨层贡献。通过剪枝和梯度回传，归因图能清晰展示特定输入下的核心特征回路，直观揭示模型内部的推理路径。例如，在回答“俄罗斯首都是哪里？”时，归因图可以显示出从“俄罗斯”特征到“莫斯科”特征的跨层传播路径。

图4：基于 CLT 构建的归因图，用于分析 LLM 的内部计算机制（来源：Anthropic blog）

整体工作机制与能力边界

综合来看，LLM 的语言和推理能力可归结为三大要素：大规模统计学习（预训练）、策略优化（后训练）和动态特征回路。在自回归生成过程中，模型根据上下文动态激活相关特征，通过自注意力组合低阶特征为高阶特征，最终输出符合人类偏好的文本。

图5：LLM 的机制可以从训练方式、策略、算法和模型来理解

然而，LLM 并非全能。通过与人类能力的对比（表1），可以看出其局限性：

• 幻觉：LLM 自身无法完全消除事实错误，理论上语言生成必然以一定概率产生幻觉，需借助 RAG 等外部机制缓解。
• 具身思考：人类的思考与感官、运动系统密切关联，而当前多模态 LLM 的推理主要发生在语言表示空间，缺乏真正的身体经验模拟。
• 逻辑与数学：LLM 并非基于形式规则进行严谨推理，而是通过启发式模拟，在处理复杂问题时容易出错。
• 创造力：渐进式创新（如文本重组）已初步显现，但能否产生像相对论那样的颠覆性创新，仍是开放问题。
• 意识：LLM 不存在人类的意识机制，不具备持续、统一的自我感知。

结语

从特征叠加到功能词元，从稀疏自编码器到归因图，研究者正在逐步揭开大语言模型“类人”能力的面纱。这些发现不仅加深了我们对 AI 工作机制的理解，也为构建更可靠、更智能的模型指明了方向。但 LLM 与人类在思考本质上的鸿沟依然存在，未来的探索仍任重道远。