从解释黑箱到设计玻璃箱：ACL 2026综述揭秘大模型内生可解释性的五大路线

导语：大模型可解释性为何要从“事后解释”转向“内生设计”？ACL 2026最新综述梳理五大路线，揭示将黑箱改造为玻璃箱的关键范式。

大语言模型的能力越强，一个根本的追问就变得越尖锐：我们真的理解它为何这样回答、这样推理，又为何会在关键时刻犯错甚至失控吗？

过去，主流的可解释性研究聚焦于事后解释（post-hoc interpretability）——先训练出高性能的复杂模型，再用特征归因、探针、稀疏自编码器、因果干预等工具从外部进行剖析。这类研究贡献巨大，但始终存在一个根本局限：解释往往只是对模型真实计算过程的近似或重构，而不是过程本身。综述论文中将这种隔阂称为忠实性差距（fidelity gap）。

正因此，越来越多的研究者将目光转向另一条路径：内生可解释性（intrinsic interpretability）。它不满足于训练后“补”上一个解释器，而是要求在模型结构、训练目标和信息流中直接嵌入可解释性。换句话说，解释不再是外挂，而是模型自身的一部分；这些可解释部件位于关键计算路径上，改动它们会直接影响模型输出。

图1：事后解释与内生解释的范式对比——前者在模型外部附加分析工具，后者将可解释性直接构建进模型内部。

一篇被ACL 2026 Main Conference接收的综述论文《Towards Intrinsic Interpretability of Large Language Models: A Survey of Design Principles and Architectures》系统梳理了这一方向的代表方法，并将现有工作归纳为五大设计范式，试图回答一个核心问题：我们能不能把“黑箱”直接改造成更接近“玻璃箱”的系统？

图2：内生可解释性的五类设计范式总览，是整个方向最核心的脉络图。

五大设计范式：把可解释性做进模型内部

综述将现有方法按“解释性是如何被构造出来的”这一标准划分为五条路线，它们并非按模型家族分类，而是揭示了五类通用的设计原则。

1. 功能透明性（Functional Transparency）

这类方法强调模型内部的计算过程本身应当具有清晰结构和明确语义，而非完全由难以拆解的稠密变换组成。典型代表包括广义加性模型（GAM）、神经加性模型（NAM）、自解释神经网络（SENN）以及最近受到关注的Kolmogorov-Arnold网络（KAN）等。它们的共同理念是让每个计算部件承担可辨识的明确功能，从而使得“模型在算什么”一目了然。代价同样明显：结构越透明，表达能力和训练效率往往越受限。

2. 概念对齐（Concept Alignment）

如果说功能透明性关注“算得清楚”，概念对齐则更强调“想得明白”。这类方法希望模型中的某些中间变量能直接对应到人类可理解的概念，例如属性、症状、主题或语义类别。概念瓶颈模型（CBM）是这条路径的标杆：模型先显式预测一组概念，再基于概念做出下游判断。这样做的好处是，我们可以直接观察模型是否在概念层面出了问题，但难点在于人类定义的概念本身可能不完整，强行对齐可能带来对齐成本（alignment tax）——约束了模型的自由表达空间，甚至牺牲性能。

3. 表征可分解性（Representational Decomposability）

这一路线瞄准隐藏表示的纠缠问题。在标准神经网络中，不同语义因素往往混杂在一起，难以独立解释。为此，研究者尝试将表示拆分为更独立的子空间、离散码本或可分离的组成分量。例如，Backpack语言模型将词义表示与上下文加权作用相分离；CoCoMix等工作则进一步将高层语义概念显式融入生成过程。这类工作的核心目标是降低语义纠缠，提高表示层面的可读性与可操控性。

4. 显式模块化（Explicit Modularization）

这是与大模型架构结合最紧密的路线，最典型的载体是专家混合模型（Mixture-of-Experts, MoE）。传统MoE主要追求容量与效率，但近来越来越多的工作开始把“可解释性”纳入设计目标：让专家网络更简单、更稀疏，让路由器的决策更具语义结构。如此一来，我们不仅看到最终输出，还能追溯模型调用了哪些“专家”来完成每一步计算，使得内部决策路径更加透明。

图3：面向可解释性的MoE设计——通过稀疏化、细粒度分解和语义路由提升模块透明度。

5. 潜在稀疏性诱导（Latent Sparsity Induction）

这类方法通过稀疏约束、门控机制或结构化正则，引导模型在训练过程中自主发展出清晰的激活通路与功能分工。例如，Transformer中广泛使用的GLU/SwiGLU门控结构就能让不同输入激活不同子网络；更进一步的稀疏训练方法则直接施加强稀疏约束，促使模型形成紧凑、易于解释的计算子电路。其核心直觉是：很多不可解释性问题源于过度稠密的叠加计算，而选择性激活能让功能分工自然浮现。

这五类范式并非彼此独立的标签，而是可以叠加的设计原则。现实中很多方法同时具备模块化结构、概念监督、稀疏路由等多重特征。内生可解释性因此更像一种新的模型设计哲学——不是在训练完成后追问“它为什么这么做”，而是在设计之初就规定“它应该以什么样的方式思考”。

发展脉络：从刚性透明走向柔性可解释

如果拉长时间线，内生可解释性本身也经历了明显的演化。早期方法偏向低容量、人工预定义结构，如古老的广义加性模型；近年来的研究则越来越转向数据驱动、兼顾性能与透明性的稀疏架构和模块化架构。整个领域正在从“刚性、预定义、低容量”的可解释模型，走向“更灵活、更可扩展、同时保留可解释结构”的现代范式。

图4：内生可解释性的发展脉络——从早期强先验、低容量的解释模型，逐步演进为更灵活、更高容量的大模型时代设计。

挑战与展望：走向真正“玻璃箱”的关键问题

尽管前景诱人，这一方向远未成熟。综述明确指出三大关键挑战：

• 定义与评估标准不统一：究竟什么才算“内生可解释”？仅仅有稀疏结构或模块化路径就足够吗？缺乏公认的度量指标，导致方法难以横向比较。
• 性能‐可解释性取舍：虽然新近研究显示两者未必绝对冲突，但如何在大规模LLM上稳定实现“既透明又强大”仍是开放难题，特别是在多语言、多任务场景下。
• 可扩展性存疑：许多方法在受控小模型或局部模块上表现良好，能否稳健扩展到真正复杂的大模型系统，仍需大规模验证。

然而，一个趋势已经清晰：大模型可解释性研究正在从“观察模型”走向“设计模型”。这不仅是方法层面的变化，更是研究视角的转变——从黑箱外部的旁观者，变为玻璃箱的建造者。内生可解释性的最终目标，不是为模型套上一层解释包装，而是提供一种更底层的可能性：让未来的大模型天然更容易被理解、被审计、被控制。这或许正是通往更可信、更安全AI系统的一条关键进路。

综述论文作为这一方向的系统性起点，既梳理了已有方法背后的共同设计思想，也为将“可解释性”从分析目标转变为模型设计原则提供了路线图。对于大模型研究者而言，这或许是一个值得长期投入的新范式。