2个月手搓“光速”推理引擎！英伟达力荐的TokenSpeed如何碾压TensorRT-LLM？

导语：两个月时间，一个小团队打造出性能超越TensorRT-LLM的推理引擎TokenSpeed，获英伟达官方力荐。本文将深入解析其技术细节与性能表现。

智能体时代的核心是算力。尤其是在 Coding Agent 爆发之后，算力问题变得前所未有地尖锐。Claude Code、Codex、Cursor 等产品正在把 AI 从“问答工具”变成“持续运行的软件协作者”，单次会话轻松突破 50K tokens，系统负载转向了更极端、更复杂的智能体负载。

最近有关算力的大新闻层出不穷。马斯克的 SpaceX 与 Anthropic 达成重磅协议，超过 22 万块英伟达 GPU 将为 Anthropic 所用，而 Anthropic 对与 SpaceX 合作开发未来的太空算力体系“表示有兴趣”。与此同时，OpenAI 发布了多路径可靠连接 (MRC)，可帮助大型 AI 训练集群更快、更可靠地运行，并减少 GPU 时间的浪费。

然而，除了堆砌算力，推理效率的优化同样关键。即便只是单 GPU 吞吐率上的微小提升，一旦应用到生产级集群中，也能在服务持续增长需求的同时，节约相当可观的算力。来自 LightSeek Foundation 的一个小团队，仅用两个月时间，就打造了一个全新的、号称“光速”的大模型推理引擎——TokenSpeed。

这一引擎拥有 TensorRT-LLM 级别的性能，vLLM 级别的易用性，并且拥有 NVIDIA Blackwell 上最快的 MLA 注意力内核。一经发布，TokenSpeed 就获得了英伟达官方的力荐，并在社交媒体上发文推荐。

目前，TokenSpeed 已在 GitHub 开源。它的技术博客标题为“TokenSpeed: A Speed-of-Light LLM Inference Engine for Agentic Workloads”。接下来，我们就深入解析这款“光速”引擎的技术内核。

从第一性原理出发，为智能体推理而生

TokenSpeed 从第一性原理出发，专门为智能体推理场景设计。它为智能体负载提供接近“光速级”的推理能力，其核心设计包括：基于编译器的并行建模机制、高性能调度器、安全的 KV 资源复用约束、支持异构加速器的可插拔分层 kernel 系统，以及用于低开销 CPU 侧请求入口的 SMG 集成。

并行建模：SPMD + 静态编译器

建模层采用本地 SPMD（Single Program, Multiple Data）设计，在性能与易用性之间取得平衡。TokenSpeed 允许开发者在模块边界指定 I/O placement 注解。随后，一个轻量级静态编译器会在模型构建过程中自动生成所需的 collective operation，从而无需手动实现通信逻辑，大幅降低了分布式推理的开发门槛。

调度器解耦：编译期安全保证

TokenSpeed 调度器将控制平面与执行平面解耦。控制平面使用 C++ 实现，并被构建为一个有限状态机（FSM），结合类型系统，在编译期而非运行期强制执行安全资源管理，包括 KV cache 状态转移与使用。请求生命周期、KV cache 资源以及重叠执行时序，都通过显式 FSM 状态迁移与所有权语义进行表示。因此，系统正确性并非依赖约定，而是由一个可验证的控制系统来保证。

执行平面则使用 Python 实现，以保持开发效率，使研究人员与工程师能够更快进行功能迭代，并降低整体认知负载。这种“C++ 控制 + Python 执行”的混合架构，既保证了运行时安全性，又兼顾了快速迭代的灵活性。

模块化 kernel 层：可插拔加速器支持

TokenSpeed 的 kernel 层将 kernel 从核心引擎中解耦，并将其视为一级模块化子系统。它提供了可移植的公共 API、集中的注册与选择机制、组织良好的实现结构、面向异构加速器的可扩展插件机制、经过整理的依赖体系，以及统一的快速迭代基础设施。这使得引擎能够轻松适配不同的硬件后端，为未来异构计算集群的部署铺平了道路。

专为 Blackwell 优化的极速 MLA 内核

团队针对 NVIDIA Blackwell 架构进行了大量性能优化，构建了当前智能体负载场景下速度最快的 MLA（Multi-head Latent Attention）kernel 之一。在 decode kernel 中，由于部分场景下“num_heads”较小，团队通过对“q_seqlen”与“num_heads”进行分组，以更充分利用 Tensor Core 的计算能力。而 binary prefill kernel 则包含了经过精细调优的 softmax 实现。

目前，TokenSpeed 的 MLA 内核已被业界流行的推理框架 vLLM 采用，这进一步验证了其设计的优越性与通用性。

性能实测：全面超越 TensorRT-LLM

Coding Agents 带来了异常严苛的推理工作负载，上下文通常会超过 50K tokens，对话也经常跨越数十轮。大多数公开基准测试并不能充分捕捉这种行为。为此，研发团队与 EvalScope 团队合作，基于 SWE-smith 轨迹对 TokenSpeed 进行评估，这些轨迹密切反映了生产环境中 Coding Agents 的流量情况。由于生成速度对 Agent 的用户体验至关重要，因此团队的目标是在维持单用户 TPS（每秒 token 数）下限的同时，最大化单 GPU 的 TPM（每分钟 token 数）——通常是 70 TPS，有时是 200 TPS 或更高。

下图展示了在不同部署配置下（无 PD 解耦），TokenSpeed 与 TensorRT-LLM 的 Kimi K2.5 性能帕累托曲线。每条曲线都以 TPS/User（横轴）作为延迟指标，以 TPM/GPU（纵轴）作为吞吐指标，并通过扫描并发数绘制而成。对于 Coding Agents（高于 70 TPS/User），最佳配置是 Attention TP4 + MoE TP4。

在这一配置下，TokenSpeed 在整个帕累托前沿上均优于 TensorRT-LLM：在最低延迟场景下（batch size 1）大约快 9%，在 100 TPS/User 附近吞吐量大约高 11%。

团队表示，他们的核心优化之一是 TokenSpeed MLA。下图对比了 TokenSpeed MLA 与 TensorRT-LLM 的 MLA，后者是目前 NVIDIA Blackwell 上的 SoTA。可以看出来，优化后的二进制版本预填充内核，使用 NVIDIA 内部旋钮来微调 softmax 实现，在 Coding Agents 的五种典型预填充工作负载中，都超过了 TensorRT-LLM 的 MLA。解码内核则将查询序列轴折叠进头轴，以更好地填充 BMM1 的 M tile，从而提升 Tensor Core 利用率。结合其他优化，在带有 speculative decoding 的典型解码工作负载中，这使得相对于 TensorRT-LLM 来说，延迟几乎降低了一半。

未来之路：持续演进的开源基座

据悉，该项目于 2026 年 3 月中旬启动开发，虽然目前展示了惊人的性能，但仍有大量底层代码（如 PD 分离、KV 存储等）正在合并和完善中，团队表示将继续推进。TokenSpeed 的出现旨在通过更现代化的架构设计，打破传统推理框架在易用性与极致性能之间的平衡点，为大规模 Agent 部署提供了一个高性能、开源的底座。而英伟达的力荐，也说明推理引擎正在成为 Agent 时代基础设施竞争的一个新焦点。

对于开发者而言，TokenSpeed 不仅是一个高效的推理工具，更是一个全新的起点。随着智能体工作负载的持续增长，类似 TokenSpeed 这样的“光速”引擎，必将成为大模型落地的关键基础设施。