ICLR 2026重磅！首个TTS投机解码基准SpecTTS-Bench：重复越多，推理越快！

导语：香港城市大学与华为联合发布SpecTTS-Bench，首个面向TTS的投机解码基准，发现重复越多推理越快，N-gram方法实现3.97倍加速。

背景：Test-Time Scaling的“慢思考”困境

在推理大模型中，一个朴素但有效的策略正成为共识：推理阶段扩展（Test-Time Scaling, TTS）——在推理时额外分配计算（如反复思考、多轮推理），能显著提升模型解决复杂问题的正确率与稳健性。然而，TTS的代价同样明显：大量冗余、重复的推理轨迹被生成，吞噬了推理时延与算力预算，让模型“更聪明”却“不够划算”。

图1展示了TTS过程中常见的“叠床架屋”现象：在多轮推理或多路径采样时，模型反复生成类似的开头、重复的中间结论、固定化的检查步骤，甚至机械式重述前文。这些内容表面上增加了推理“长度”，但信息增益有限，导致算力在自说自话中被浪费。

TTS的典型范式

Best-of-N：针对一个问题生成多条推理路径或候选答案，再通过评分机制选出最优方案。
Multi-round Thinking：让模型以多轮“想—写—再想—再写”的形式进行自我复审和反思，不断修正错误或补充遗漏。

这两种范式都带来了极高的计算代价与延迟成本，形成质量与效率的矛盾——模型更聪明，但推理慢得不划算。

投机解码：以小博大破解“慢思考”

面对TTS的算力消耗，投机解码（Speculative Decoding）提供了一种高效范式。其核心机制是解耦“生成”与“验证”：先用一个参数量小、速度快的草稿模型预先生成候选Token序列，再由目标模型以并行方式批量验证。由于大模型处理单个Token和并行处理多个Token的延迟差异较小，这种“预测-验证”机制能显著减少目标模型的串行前向传播次数，在保证输出分布一致（无损加速）的前提下，大幅提升推理吞吐量。

在TTS实践中，无论是Best-of-N还是多轮迭代，计算过程都伴随着大量的文本重复。例如，不同采样路径共享长段公共前缀或标准化思维模板；迭代修正时模型需要复述上下文。这种由采样策略和迭代机制直接导致的重复性，恰恰是投机解码的最大红利——高频重复降低了预测难度，使草稿模型能以极高命中率通过验证。因此，TTS带来的文本冗余，在投机解码机制下转化为加速推理的关键杠杆。

图2展示了投机解码在TTS场景中的框架：草稿模型利用历史重复信息快速生成候选，目标模型并行验证，实现加速。

SpecTTS-Bench：首个面向TTS的投机解码评测基准

为了系统量化投机解码在TTS推理场景下的效能，来自香港城市大学和华为的研究者构建了SpecTTS-Bench——首个面向TTS的投机解码评测基准。该基准制定了统一的实验协议，全面覆盖两大主流TTS范式：Best-of-N（广度搜索）和多轮思考（深度迭代）。在投机解码方法论上，涵盖了四大技术路径：

基于模型（Model-based）：利用同源小模型生成候选序列，再由目标模型验证。
基于训练（Training-based）：通过特定训练优化推测器或策略，使其更贴合目标模型分布。
基于N-gram（N-gram-based）：直接利用文本统计规律中的重复模式进行低成本快速预测。

实验设置与结果

基准对九种投机解码方法在两类TTS框架中进行了统一评测，选取DeepSeek-R1-Distill-Llama-8B（DSL-8B）和Qwen3-8B（QW3-8B）模型，在AIME24/25、MATH500及GPQA等高难度推理基准上对比了平均接受Token数（MAT）与端到端加速比（Speed）。

评测结果揭示了一个关键发现：在结构化且重复密集的TTS场景中，能够利用历史信息的非训练N-gram方法展现出惊人的适应性。如图3所示，在DSL-8B (T=0)的贪婪解码设定下，SAM方法在GPQA任务上取得了3.57的MAT和3.20×的加速比，整体评测中保持了平均2.66×的稳健加速。这表明，TTS推理过程中产生的思维链包含大量重复的推理步骤和格式化表达，朴素的N-gram或基于历史匹配的机制（如SAM）能够精准利用这些重复模式带来的红利。

基于这一洞察，研究者进一步验证了将N-gram机制与基于训练的投机解码方法相结合的混合策略。实验数据显示，SAM[EAGLE-3]这种混合策略集两者之长，在各类设定下均实现了性能突破。在DSL-8B (T=0)贪婪解码场景中，SAM[EAGLE-3]在GPQA任务上的MAT达到惊人的7.00，并在整体评测中实现了最高3.97×的加速比。在QW3-8B的多轮思考场景中，该混合策略依然保持领先，稳定提供约2.7×至3.5×的加速收益。

以简驭繁：重塑大模型推理的效率边界

图5展示了N-gram方法（SAM、PIA、SAM[EAGLE-3]）在三种TTS场景下的加速比趋势，验证了“越推越快”的效应。

SpecTTS-Bench不仅为TTS场景中的大模型推理提供了标准化的度量衡，更揭示了“重复即红利”这一关键洞察。在追求模型“深思熟虑”的道路上，简单的N-gram机制与混合策略展现了“四两拨千斤”的潜力，有效缓解了长思维链带来的推理时延。研究团队期待这一基准能推动社区进一步挖掘推理结构中的加速潜力，让“越推越快”成为TTS的新常态。

论文链接：https://arxiv.org/abs/2509.04474
代码仓库：https://github.com/sunshy-1/SpecTTS-Bench