多模态大模型后训练陷入“SFT陷阱”？PRISM三步法让RL不再白忙一场

导语：SFT后直接上RL？模型性能可能先降后升，RL在“还债”。PRISM三步法填补断层，让训练不再白费。

SFT之后直接强化学习？你可能正在替SFT“还债”

在多模态大模型（MLLM）的后训练中，长期存在一个看似天经地义的范式：先SFT（监督微调），再RL（强化学习），两步到位。从DeepSeek到Qwen，从GRPO到DAPO，业界拼命优化RL算法的稳定性、采样效率、奖励设计，却几乎没人回头看一眼：SFT到RL之间，是不是少了点什么？

来自香港科技大学（广州）、南洋理工大学、清华大学等机构的最新研究Beyond SFT-to-RL（PRISM）给出了一个令人不安的发现：SFT不仅没有为RL铺好路，反而在悄悄挖坑。

数据揭示的残酷真相：SFT后模型反而变弱了

先看一组比较有意思的数据（7个主流多模态benchmark的平均准确率）：

Qwen3-VL-8B：原始Instruct模型 63.3% → SFT后 58.1%（-5.2） → SFT→GRPO后 63.3%（+5.2）
Qwen3-VL-4B：原始Instruct模型 56.8% → SFT后 53.8%（-3.0） → SFT→GRPO后 59.8%（+6.0）

可以看到，SFT之后，模型性能反而下降了。8B模型更为明显：SFT掉了5.2个点，辛辛苦苦做完强化学习，才刚刚爬回基线的水平（63.3%→58.1%→63.3%）。也就是说，你的RL可能一直在“还债”，而不是在“提升”。

原因很直接：当前主流的强Instruct模型（如Qwen3-VL）已经经过大规模、精细的后训练，能力本就处于一个相对稳定的高位。SFT逼着模型去模仿一套新分布（比如常见的GPT/Gemini蒸馏数据），结果就是用更“窄”的分布去覆盖更“广”的能力，旧能力被冲掉、新能力又没真正学到。模型越强、越接近实际部署水平，SFT引入的分布偏移就越成为RL之前一道绕不开的“暗坑”。

问题根源：SFT引入的两类致命偏差

SFT在多模态场景下，会引入两类容易被忽视的偏差。

偏差一：表面模仿——token级loss把过程和结果同权处理

SFT的优化目标是在均匀的token级loss下模仿演示轨迹。它不区分“过程”和“结果”：对模型来说，正确的推理步骤和格式化的模板套话，权重是一样的。结果就是模型学会了“长得像”正确答案，而不是“想得出”正确答案。它学到的是表面模式，而非忠实的推理能力。

偏差二：感知漂移与推理漂移在同一个loss里被混起来

这是多模态场景特有的麻烦。与纯文本模型不同，多模态模型的漂移不是单一的，而是两种定性不同的失败模式同时发生：

感知漂移：视觉定位出错，模型“看错了”
推理漂移：逻辑推导失败，模型“想歪了”

这两种漂移的成因不同、纠正方式不同，但SFT用同一个token loss把它们一起拟合。等到RL阶段时，模型已经在感知和推理两端同时偏移，变成一个“既看不准、又想不对”的模型。

现有RL算法为什么救不了？

从GRPO到DAPO再到GSPO，RL算法确实一直在进步，但它们解决的是RL阶段内部的问题：采样效率、梯度方差、策略崩溃。没有任何一个RL算法回头去修复SFT留下的分布偏差。这好比百米短跑：SFT不仅没让你往前走，反而把你向后推了50米。现有RL算法都在研究怎么跑得更快，但起点还在坑里。而PRISM要做的，就是在SFT和RL之间补上这一步，不仅把你拉回起跑线，还顺势往前推一把，让RL只用跑50米就能冲线。

PRISM的核心方案：三阶段流水线

PRISM打破了传统的两阶段范式，提出了 SFT → 分布对齐（PRISM） → RLVR 的三阶段流水线。关键创新在于中间的分布对齐阶段。

混合专家判别器（MoE Discriminator）

感知漂移和推理漂移是两类成因不同的偏差，需要分开处理。PRISM为此设计了一个混合专家判别器，由两个专门化的专家组成：

感知专家D_v：专门评估视觉描述，测量模型的输出是否忠实于图像内容，解决感知漂移
推理专家D_r：专门评估推理轨迹，测量逻辑推导是否一致有效，解决推理漂移

最终判别得分为两者的加权组合：r(x,y) = α · D_v(x,c) + (1-α) · D_r(x,t)。这种设计提供解耦的纠正信号，避免将两种完全不同的误差模式塞进一个标量里，导致梯度信号变得嘈杂。

黑盒蒸馏：不需要教师logits

PRISM的另一个优雅之处在于它是黑盒的。很多蒸馏方法需要访问教师模型的logits（内部概率分布），这意味着你得有教师模型的完整权重。但在实际场景中，最强的模型往往只提供API，你只能看到输出，看不到内部状态。PRISM完全在响应级别工作：从强模型（Gemini 3 Flash）采集高质量输出作为正样本，从当前策略采样作为负样本，通过对抗博弈来对齐分布。只要能调API，就能用PRISM。

一个重要的设计决策：去掉KL正则化

传统RL训练通常会加一个KL散度约束，防止策略偏离初始模型太远。但PRISM有意识地去掉这个约束，因为对齐阶段的目的就是纠正SFT带来的分布偏差，再加一个把策略拉回SFT分布的KL约束，本身就和这个目标相互矛盾。

分布演变：对齐真的把模型拉回到更好的起始点

下图直观地展示了分布的演变过程：从Base到Post-SFT再到Post-Alignment，无论是推理步数还是视觉描述项数的分布，都在逐步向监督数据靠拢：

可以清晰看到：Post-SFT（蓝线）与Supervision（黑线）仍有明显偏差，而Post-Alignment（橙线）则大幅缩小了这一差距，并且这种改进在Post-RLVR（绿线）阶段得以保持。

实验结果：全面验证有效性

在Qwen3-VL的4B和8B两个规模上，PRISM搭配GRPO/DAPO/GSPO三种主流RL算法，在4个数学推理基准（MathVista、MathVerse、MathVision、WeMath）和3个通用多模态基准（MMMU、MMMU-Pro、HallusionBench）上全面验证了有效性。下表是论文Table 1的主结果（灰色行为PRISM）：

从主表里能读出几个值得展开的信号：

模型越强，PRISM的增益越大：8B拿到+6.0的平均提升，4B为+4.4，更强的基座被SFT“伤害”得更深，也因此从对齐中受益更多。
PRISM在绝大多数子基准上拿到了同基座下的最佳分数（表中加粗），覆盖数学推理与通用视觉理解两类任务，这意味着对齐带来的不是某个领域的局部增益，而是分布层面的全局校准。

消融实验：每一步都不可或缺

从消融表（论文Table 2）里能直接读出每个组件的贡献：

去掉SFT阶段直接掉16.8个点，说明SFT作为“冷启动”仍不可替代，PRISM不是要取代SFT，而是修复它带来的副作用。
去掉对齐阶段掉4.4个点，与4B主表的提升幅度完全对应，是分布对齐效果的直接证据。
单个4B判别器替代MoE掉3.4，仅文本判别器掉3.9。后者尤为有趣：没有视觉感知的判别器只能捕捉表面模式（格式、模板、风格），导致策略学会了“鹦鹉学舌式对齐”，听起来像监督数据，但实际上看不到所描述的内容。

结语：补上SFT与RL之间的断层，模型自然跑得更稳

PRISM的出现，给多模态大模型的后训练范式打上了一个“补丁”，但这个补丁可能比主程序还重要。SFT和RL之间不是无缝衔接，而是存在一道被长期忽略的分布断层。RL算法再强，如果起点就歪了，跑得越快只会偏得越远。让多模态大模型在推理任务上再进一步，未必要靠更复杂的RL算法或更多训练数据。把SFT和RL之间这一步对齐补上，模型自然会跑得更稳。

论文地址：https://arxiv.org/abs/2604.28123