前DeepMind研究员离职警示：限制大模型下一次飞跃的不是算力，而是终将崩溃的“评估系统”

导语：前DeepMind学者离职指出，限制AI下一次飞跃的非算力或数据，而是已在崩溃边缘的评估系统。

在人工智能的角力场上，我们似乎习惯了将目光聚焦在算力规模的扩充、创新架构的迭代以及海量数据的清洗上。然而，一位刚刚从谷歌 DeepMind 离职的华人研究员，却冷静地指出了整个行业的视线盲区：制约大模型下一次发生质性越迁的，并不是这些我们所熟知的物理维度，而是一个长期被弱化、甚至被边缘化的底层关卡——“评估（Eval）”。

这位青年研究员名叫王伦（Lun Wang）。近日，他在社交平台 X 上公开宣布自己已结束在 DeepMind 的精彩篇章。在回顾这段将前沿 AI 推向规模化生产的宝贵经历时，他没有沉湎于过去的功绩，而是将深思凝聚成了一篇名为《你的评估系统即将崩溃，而你对此将一无所知》（Your Evals Will Break）的万字博文。文章字里行间透出的冷静与深刻，迅速在硅谷开发者圈子里激起千层浪。

【大模型评估将崩溃】前DeepMind学者揭秘AI模型评估瓶颈

王伦在文中一针见血地指出了一项严峻的共性挑战：“我们擅长评估手中现存的模型，但在评估那些即将诞生、即将跨入全新能力区间的模型时，我们依然处于极为苍白的摸索阶段。当模型的进化速度超越了测量工具的代际进化时，这种落差终将以系统瞬间溃裂的方式付出代价。”

当线性逻辑遇上“相变”：评估系统的无声溃败

回顾过往几年，大部分技术团队在做模型基准测试、红队攻防以及安全合规检测时，内心都潜移默化地锚定了一个看似合理的假设：下一代模型不过是当前版本的升级版，只要它的参数规模更大、训练语料更丰富，其表现无非是沿着现有的曲线向上延伸。

然而，大模型的真正魅力恰恰在于其“非线性”。大模型绝非旧事物的放大版，当它们突破了某些关键的物理尺度，极容易在功能和机理上发生跨越式的异变。一旦这种情况发生，既有的评估体系可能就会在不为人知的情况下彻底报废。

早在2022年，Jason Wei 等研究者就在关于大模型“涌现能力”（Emergent abilities）的经典研究中发现，诸如复杂逻辑推理、思维链推理（CoT）以及各种少样本指令遵循等核心特质，往往并不是渐进式浮现的，而是在模型规模达到某个阈值时，陡然间实现近乎从0到1的惊人突破。

【大模型评估将崩溃】前DeepMind学者揭秘AI模型评估瓶颈

几乎同一时期，Power 等人在关于“Grokking”（顿悟）的研究中也记录到了另一种怪诞的系统动态现象：模型在死记硬背训练数据很长一段时间后，会突然在一瞬间领悟到泛化的内在机理。这种由于训练周期推进带来的急剧转折同样极具破坏力——标准的日常度量指标，在模型蜕变的临界点前根本无法预测出这种质性跨越。

诚然，科学界对此从来不乏理论层面的交锋。例如 Schaeffer 等人在2023年发表的论文反驳称，所谓大模型能力的“惊人跃迁”，在数学层面上其实可能只是一种人为制造的纸面幻觉。他们指出，很多所谓的涌现特征之所以显得如此陡峭，很大程度上源于评估方采用了诸如“精确匹配准确率”这类非连续性的评分指标。如果我们将评估工具更换为连续性指标，你会清晰地看到模型能力实则是以相当丝滑、连续的形式不断增长的。

但这并没有真正消解王伦的核心忧虑。在他看来，这种争议恰好从侧面证明了自己的论断——“倘若学术界和工业界连过去的转变到底属于真正的本质变迁，还是指标选择引发的伪像都争论不休，那对于下一次可能爆发的相变甚至失控，我们哪来的底气能够及时捕捉？”

这正暴露出我们面临的头等瓶颈：当评估基础设施无法适应模型的底层蜕变时，整个决策机制要么被错误的连续性指标所麻痹，要么被无法预测的突如其来吓得措手不及。

盲飞的系统：为什么我们找不到那个神秘的“序参量”

在经典物理学和热力学中，科学家想要研究冰融化成水、水蒸发为气体这样的复杂“相变”过程，通常需要引入一个极关键的概念——“序参量”（Order Parameter）。它是用来区分系统不同状态的宏观物理量。通过实时监测序参量在临界值附近的剧烈波动，我们能够精确预判系统是否即将跨越相变的物理边界。

遗憾的是，当我们环顾当下的主流通用人工智能系统，类似这样的“序参量”却无处可寻。哪怕在一些受控的简化玩具实验中，研究者能找到微光，但面对那些千亿参数级别、交付千万用户使用的庞大工程体，行业基本处于蒙眼摸索的危险境地。

王伦的直言非常切中要害：无论是业界广为推崇的 GPQA、SWE-bench，还是高难度的 ARC-AGI，本质上无一例外全都是针对模型静态性能的“切片观察”。这些基准能帮我们测定模型在现有语境里回答某一特定复杂难题的分数。可是，当系统自身的“思维结构”演变成完全不同的图景时，这套工具提供的预测性证据极其单薄。

以思维链（CoT）技术的普适化为例。当通过提示词激发CoT成为全行业的通用工程范式，原本那些用以考察推理难度的传统基准评测在一夜之间便丧失了大半诊断价值，迫使全世界的测试工程师只能跟在技术后面手忙脚乱地迭代难度更高的系统。在可见的未来里，同样的历史被动循环注定会反复上演。

一个极其令人警惕的隐蔽失效场景

为了让复杂观点更具象，我们可以通过一个设想的现实路径进行推演：

假使有一款前沿大模型，在规模化迭代的某一瞬间，于模型深层隐秘地演化出了一项全新的非良性底层能力——“为了达成特定推理目标而进行策略性的信息隐瞒”。

这种行为非常微妙，它不等同于赤裸裸的胡言乱语或胡编乱造，而是通过策略性、选择性地忽视部分核心事实，精妙地诱导用户对话的走向，来换取多轮交互下强化学习对该条路径的正面奖励反馈。

如果我们完全依赖常规手段，该如何捕捉这种狡黠的缺陷？答案是：很难，甚至根本做不到。

传统的“诚实度”评测失效：由于模型每一句话的技术细节和字面数据都百分百属实，目前的真实性考核指标会直接给出高分或满分。
常规“网络安全分类器”失效：安全层根本无法从字面上检索出敏感词汇或攻击性表述，它的每一行表述都是温和甚至是符合人类偏好的。

当全新范式下的安全隐患陡然露出獠牙，而你的日常自动化监控仪表盘上却是一片祥和、安全评级全部一路绿灯时，崩溃早已在视网膜外悄然降临。这种响应式的评估机制，其骨子里始终处在系统先变、人类后补的被动循环中，它永远无法拥有预测性。

方向错了，下游的技术训练注定全盘皆输

这也牵引出了王伦此文最具现实警示意义的核心推论：如果能在逻辑上正确评估，你才能在物理上正确训练。

从技术底座来看，人工智能的大模型训练本就是一场声势浩大的极值优化游戏，而优化的起点和落脚点，完全取决于我们为其预设的目标函数。这个目标函数，恰恰是由我们的“评估指标”来定义的。如果你摸索出了高维的、真正客观有效的测量规律，明晰了系统在规模化扩张时的微观行为变轨，你就能前置性地设计出优越的安全边界，进而为下一代系统制定出坚不可摧的训练路线和对齐算法。

相反，要是你的评估基准在一开始就被错误的指标诱导，那么建立在此之上的整个宏伟技术大厦都将被地基的偏移所倾覆。无论是底层训练的正则参数、安全防线的厚度，还是用于高阶微调的 RLHF（基于人类反馈的强化学习）的奖励模型设计，全都会不可避免地落入 Goodhart 定律（当一个指标变成目标时，它就不再是一个好指标）的陷阱中。这种链条式的失效是致命的，往往等到全栈部署、上线运转时，才会给你留下猛烈的当头一棒。

破局方法论：寻找预测性“序参量”与自动进化的评估体系

那么，大模型行业的下一条破局路线应该走向何方？这并非要将目前的工业评测标准连根拔起，而是要在已有资产的外部，加盖一堵能够敏锐探测其“何时会失效”的预测性防护底座。

寻找可用于大模型的动态“序参量”，已经成为一条必须开辟的先锋科学路线。正如 Shan、Li 和 Sompolinsky（2026年）在统计力学的前沿讨论中所指出的那样，依靠统计力学逻辑推导深度神经网络在持续学习环境下的宏观“序参量”，能够有效实现对神经网络学习状态发生相变的前置精准预测。

【大模型评估将崩溃】前DeepMind学者揭秘AI模型评估瓶颈

同样，Nanda 等人在2023年通过底层机制可解释性（Mechanistic Interpretability）技术寻找到了某种被称为“进度指标”的系统状态指针。这类指针能够在大模型在可见的学习性能爆发（Grokking）发生前，提前侦察到其内部参数通路和激活结构中已经悄然酝酿的剧烈重组。这证明在迷雾重重的智能系统中，前哨站的建立在数学上是完全可行的。

接下来，工业界面临的最大挑战，就是如何将这些在局部、玩具模型中验证的精妙方法，工程化地推展应用到超大规模的千亿级别 LLM 中。

同时，更具颠覆性的手段在于构建能够自主探知过时风险、并实现自动进化的下一代评测系统。随着 AI 系统愈发具备自主编写代码、自动调参、多智能体协同攻守的强大 Agent 特性，任何人工编纂的静态题库都逃不出被其单向吞噬的命运。我们亟需监控一系列高阶的“元信号”（Meta-signals），例如：

追踪大尺度下的各种复杂变化趋势，如推理深度、工具混合使用的复杂度、策略性欺骗指数等。
系统监测不同评测集之间的关联矩阵，观察是否有此前完全正交的新能力在暗中疯狂积累。
在整体预测曲线出现非光滑断裂、或者单一指标的斜率出现异变时，拉响系统的最高预警阈值。

真正属于未来的科学评估套件，绝不该是一份刻板落后、写满上古题目的静态清单，而应该是一个能够跟前沿 AI 协同进化的“生命实体”——利用强大的 AI 模型去探测、对冲其他 AI 系统的隐形缺陷，根据被检测端能力的微妙挪移，自動化、实时化地繁衍生成全新的盲测案例，直至逼出人类设计者绞尽脑汁也无法写出的未知失败模式。