MindVLA-U1把话说到方向盘上：自动驾驶VLA第一次正面压过VA

导语：语言不再只是解释文本，而是开始影响自动驾驶轨迹。

自动驾驶的大模型路线，最近几年一直卡在一个不太舒服的位置：只看图像直接出轨迹的 VA 模型，规划精度和速度都很能打；带语言能力的 VLA 模型，听起来更像人类司机，却常常在真正的轨迹规划上吃亏。香港中文大学 MMLab、理想汽车与清华大学联合提出的 MindVLA-U1，正是冲着这个问题来的。

论文《MindVLA-U1: VLA Beats VA with Unified Streaming Architecture for Autonomous Driving》给出的回答相当直接：语言不该只是自动驾驶模型的“解释字幕”，它应该进入决策链路，影响车辆接下来怎么走。研究团队没有单纯堆更大的模型，而是重做了视觉、语言、车辆状态、历史记忆和动作生成之间的接口，让它们在同一个 VLM backbone 中协同工作。

论文地址：https://arxiv.org/pdf/2605.12624

VLA为什么过去总打不过VA

传统自动驾驶系统多采用“感知、预测、规划、控制”的模块化流水线。进入大模型阶段后，行业开始尝试把这些步骤压进一个端到端系统里。VA 模型的强项很清楚：从视觉输入直接生成驾驶轨迹，流程短，动作输出稳定，实时性也更容易做出来。

问题同样明显。纯视觉到轨迹的映射，本质上更依赖隐式特征，它能学到“这里应该减速”“那里可以绕行”，却很难说明自己为什么这么判断。遇到狭窄居民区、无保护左转、施工区域、临停车辆、行人从车缝中突然出现这类长尾场景，系统需要的不只是看见障碍物，还要理解语义关系、道路权责和潜在风险。

VLA 模型看上去更适合这类问题。它既能看图，也能处理语言，还能把驾驶场景转成更接近人类认知的中间意图。但过去不少 VLA 方法有一个硬伤：语言一进来，动作规划的连续性、精度和推理速度就容易掉。更麻烦的是，很多模型的语言能力停留在“事后解释”，并没有真正改变轨迹生成。

MindVLA-U1的核心：让语言意图参与轨迹生成

MindVLA-U1最关键的设计，是把语言、视觉、车辆状态、历史记忆和动作 token 放进统一的 VLM backbone。语言回答通过自回归方式生成，连续驾驶轨迹则通过 flow-matching 生成。这样做的好处是，模型不必把轨迹粗暴离散成文本 token，也不用把语言理解模块和规划模块隔得很远。

这套架构里有几个很实用的部件：

• 统一 backbone：多视角图像、文本提示、自车历史状态、历史 streaming memory 和带噪声动作 token 一起输入模型，语义理解与动作规划共享表示。
• 连续动作生成：模型直接输出连续轨迹，减少离散化坐标 token 带来的精度损失。
• Intent-CFG：模型先预测驾驶意图，例如直行、左转、右转，再用这个 intent 引导动作扩散过程，让语言侧判断真正影响车辆轨迹。
• streaming memory：模型逐帧处理当前输入，通过 FIFO memory 保存历史信息，并随车辆运动做对齐，更接近真实车辆持续感知的工作方式。
• 快/慢推理路径：简单场景走 action_only 快路径，复杂或安全敏感场景保留语言推理能力，避免 VLA 模型只能“慢吞吞地思考”。

实验结果：RFS超过人类参考轨迹，不只是验证集好看

研究基于 WOD-E2E 数据集展开。这个数据集来自真实自动驾驶场景，每段驾驶片段约 20 秒，包含多摄像头 360° 视觉输入，能够覆盖车辆周围不同方向的环境信息。由于包含不少长尾驾驶场景，它更适合检验模型在复杂路况中的规划能力。

评测主要看两类指标。一类是轨迹质量，包括 RFS 和 ADE。RFS 衡量预测轨迹是否符合人类评审偏好，ADE 衡量预测轨迹与参考轨迹之间的距离误差。另一类是语言能力，例如 VQA 的 BLEU 和 ROUGE，用来观察模型在保留驾驶规划能力时，语言理解和回答能力是否被削弱。

实验结果里最醒目的数字是：MindVLA-U1 加入 RL 后，在 WOD-E2E 验证集上 RFS 达到 8.20，而人类驾驶参考轨迹的 RFS 为 8.13。也就是说，在开放环评测中，模型生成的轨迹质量已经超过了人类驾驶参考轨迹。

官方测试集上，MindVLA-U1 + RL 的 RFS 达到 7.87，取得最高表现；RFS-GT ADE 达到 1.09 / 2.66 m，轨迹误差低于多数已有 VA 和 VLA 方法。这一点很重要，因为它说明模型并非只在验证集调得漂亮，在隐藏测试集上也有不错的泛化能力。

语言到底有没有帮上忙？Intent-CFG给了可测量答案

自动驾驶 VLA 最容易被质疑的地方，是语言能力究竟是不是摆设。MindVLA-U1在这里做了比较清楚的消融实验。

普通 MindVLA-U1 的 RFS 为 7.83；加入 NTP 预测 intent 后，RFS 提升到 7.92。这说明语言侧预测出的驾驶意图，通过 Intent-CFG 接入连续轨迹生成后，确实能改善动作规划。

研究还对比了无 intent、轨迹派生 intent、GT intent 和模型预测 intent。结果显示，模型预测 intent 的效果最好。这个现象挺有意思：从语言侧抽取出的当前驾驶意图，比从轨迹反推的标签更能帮助生成合理动作。换句话说，模型不是先把车开完再找一句话解释，而是在“理解要做什么”之后再生成轨迹。

streaming memory让模型更像真实车辆

真实道路不是一段被剪好的固定视频。车辆在路上行驶时，感知和决策都是连续发生的，系统不能每次都重新吞一大段视频再规划一次。MindVLA-U1的 streaming memory 正是为这个问题设计的。

模型每次只处理当前帧，历史上下文由 FIFO memory 保存。memory 会随着车辆运动进行对齐，每处理完一帧，模型还会写入新的 memory。这样一来，过去几秒的路况变化、自车状态和场景线索能够持续传递下去，同时减少重复处理多帧视频带来的计算浪费。

消融结果也支持这个判断：chunk-wise 单帧训练的 RFS 是 7.69，streaming training 提升到 7.73，streaming + memory 进一步提升到 7.83。长时间轨迹预测中的 ADE 也有下降，例如 25 秒序列 ADE 从 1.54 降到 1.50。这类提升不算夸张，但它指向了自动驾驶部署里很实际的一点：时间上下文不能只靠固定视频片段硬塞。

快路径和慢路径：VLA不一定只能慢

VLA 常被认为推理重、速度慢，不适合实时控制。MindVLA-U1把这个问题拆成不同推理模式处理。

• vqa_first：先做语言推理，再做动作规划，适合语义复杂或风险较高的场景。
• action_first：先生成动作，再给出语言解释。
• action_only：跳过语言生成，只输出动作，面向实时性要求更高的简单场景。

这些模式共享同一套模型权重，部署时可以按场景复杂度切换。道路清晰、交通关系简单时，车辆不必每一帧都进行完整语言推理；遇到无保护左转、施工绕行、遮挡行人等场景，再启用更慢但更有语义支撑的推理路径。这种设计比“永远让大模型慢慢想”更接近工程现实。

模型不是越大越好，接口设计才是这篇论文的重点

研究中的模型规模实验也挺有参考价值。不同尺寸的 VLM backbone 并没有呈现简单的“越大越强”。2B 左右模型表现较好，9B 模型在默认训练设置下没有明显优势；延长训练后，9B 有一定恢复。

这说明当前自动驾驶 VLA 的瓶颈不只是参数规模，还包括训练数据规模、训练时长、动作接口设计、时间建模方式和任务适配。对于自动驾驶这种强控制任务，单纯把大语言模型经验搬过来并不够。动作空间的连续性、时序记忆的组织方式、语言意图如何注入规划，都会直接影响结果。

这项工作的真正意义：重构自动驾驶VLA接口

MindVLA-U1对行业最有价值的地方，不是单个指标领先，而是重新解释了 VLA 过去落后 VA 的原因。语言本身不一定会伤害控制能力，问题往往出在接口上。

一些方法把高精度连续轨迹离散成语言 token，动作表达被 token 精度限制；一些方法把语言模块和动作模块分得太开，语言理解很难真正影响轨迹规划；还有一些方法依赖固定视频 chunk，计算冗余明显，片段边界也不够自然。MindVLA-U1用统一 backbone、连续动作生成、Intent-CFG、streaming memory 和快/慢路径，把这些问题放在同一个架构里处理。

当然，这项工作还没有把问题全部解决。当前结果主要来自开放环评测，闭环驾驶表现仍需要更多验证；intent 也只使用了较简单的 3 类，而 MindLabel 中更丰富的 20 类 intent、轨迹评价 QA、CoT rationale 还没有充分利用。后续如果能把更细粒度的驾驶意图、多模态动作选择和闭环安全评测接上，VLA 在长尾场景里的价值会更容易看清。

论文背后的研究者

论文通讯作者之一是香港中文大学李鸿升。他是香港中文大学电子工程系 Multimedia Laboratory 副教授，同时兼任计算机科学与工程系副教授，并将于 2026 年 8 月 1 日起晋升为正教授。李鸿升长期关注计算机视觉、医学影像、深度学习、多模态学习、生成模型、具身智能和机器人操作等方向，在 CVPR、ICCV、NeurIPS、ICML、ACL、EMNLP、AAAI 等会议持续发表成果。

另一位通讯作者是朱本金（Benjin Zhu）。他目前是理想汽车研究科学家，同时在清华大学从事博士后研究，合作导师为代季峰教授。朱本金于 2025 年在香港中文大学电子工程系获得博士学位，博士期间隶属于 Multimedia Lab，导师为李鸿升教授和王晓刚教授。他的研究方向包括视觉语言动作模型、扩散模型、世界模型和 AI 基础设施，并曾参与多项计算机视觉、三维感知和自动驾驶相关研究。

MindVLA-U1这篇论文有一个很清晰的信号：自动驾驶大模型接下来拼的，可能不只是“看得更准”，也不是“解释得更像人”，而是能不能把理解、记忆和连续控制放进同一条可训练、可评测、可部署的链路里。语言真正握住方向盘之后，VLA 和 VA 的竞争才刚进入更有意思的阶段。