VLA研究迎来统一底座：港科大与社区开源StarVLA，主流机器人模型终于能公平对比了

导语：StarVLA试图为VLA研究补上统一、开放、可复现的实验底座。

如果说 PyTorch 曾经把深度学习从少数研究者的“炼丹炉”变成人人可用、可复现、可扩展的工程平台，那么今天的具身智能，尤其是 VLA（Vision-Language-Action，视觉-语言-动作）模型，也正在等待类似的基础设施时刻。

过去两年，VLA 已经成为机器人与具身智能领域最活跃的方向之一。Google RT-2、Physical Intelligence 的 π₀、NVIDIA GR00T、OpenVLA、Cosmos 等模型不断出现，展示了从视觉理解、语言指令到机器人动作生成的巨大潜力。但在繁荣的论文和演示背后，研究者长期面临一个现实问题：不同模型往往使用不同代码栈、不同数据接口、不同训练协议和不同评估环境，导致复现实验困难，公平比较更困难。

近日，香港科技大学团队联合开源社区推出 StarVLA 开放研究平台。与其说它是又一个新的 VLA 模型，不如说它是一个面向 VLA 研究的“统一实验底座”：将主流 VLA 范式、动作头、训练策略、预训练主干和评估基准整合到同一个框架中，让研究者可以在更公平、透明、可复现的条件下验证不同设计的真实效果。

StarVLA 并非从零出现的新项目。原文提到，该项目已在社区中获得超过 2.2k GitHub star，并在 VLA 开源框架中具备较高关注度。其论文题为 StarVLA: A Lego-like Codebase for Vision-Language-Action Model Developing，代码仓库已公开，支持 LIBERO、SimplerEnv、RoboTwin 2.0、RoboCasa-GR1、BEHAVIOR-1K、VLA-Arena、Calvin、DOMINO 等多个基准。

为什么 VLA 需要一个“统一框架”？

回顾人工智能多个重要分支的发展可以发现，一个领域真正进入快速迭代阶段，通常离不开统一、开放、可复现的基础设施。计算机视觉曾受益于 ImageNet 与 Caffe、PyTorch 等框架；自然语言处理在 HuggingFace Transformers 之后大幅降低了模型复现和迁移成本；大模型微调领域也因 DeepSpeed、LLaMA-Factory 等工具而更加标准化。

相比之下，当前 VLA 领域仍处于相对分散的阶段。模型数量很多，演示效果也越来越强，但一旦进入严肃研究，就会遇到一系列难题：

• 复现难：论文中的代码、数据处理流程和训练细节往往不完整，导致同一方法在不同实验室难以复现。
• 对比难：不同模型使用的训练步数、数据增强、动作空间、基准环境和评估协议不同，很难判断性能差异究竟来自方法本身，还是来自工程设置。
• 改造难：如果研究者想在同一主干上替换动作头，或在同一动作头下替换 VLM 主干，往往需要重写大量工程代码。
• 迁移难：模型在 LIBERO 上表现优秀，并不意味着在 RoboCasa、RoboTwin、BEHAVIOR 等更复杂或不同形态的环境中仍然有效。

这些问题让 VLA 研究很容易陷入“各说各话”的局面：每个团队都能报告自己的最优成绩，但缺乏一个能严格控制变量的公共平台来回答更根本的问题。例如，自回归动作分词 FAST、并行回归 OFT、Flow Matching 风格的 π₀、双系统路线 GR00T 等动作生成方案，在同一个主干和同一数据下到底谁更强？VLM 路线和 World Model 路线的差异究竟是架构本质不同，还是辅助训练信号不同？跨任务、跨具身形态的数据混合训练到底能否带来正向迁移？

StarVLA 的价值，正是试图把这些问题放到同一个可控实验场中进行回答。

StarVLA：像乐高一样组装 VLA 模型

StarVLA 的设计思路并不是提出一个全新的封闭式模型，而是将已有的关键方法模块化、接口化，使研究者能够像搭积木一样组合不同组件。原文将其称为“Lego-like Codebase”，即乐高式代码库。

从框架设计来看，StarVLA 将 VLA 系统拆解为多层可插拔模块。研究者可以在保持其他条件不变的情况下替换某个模块，从而进行更加干净的消融实验和公平对比。例如：

• 想比较不同动作头的效果，可以固定视觉语言主干，仅替换 FAST、OFT、π₀、GR00T 等动作生成模块。
• 想比较 VLM 主干与 World Model 主干，可以固定动作头和训练设置，接入 Qwen 系列视觉语言模型或 Cosmos-Predict2 等主干。
• 想验证多模态协同训练是否有效，可以在同一训练流程中打开或关闭相关训练信号。
• 想把某个基准上训练出的模型迁移到其他环境，可以借助统一接口减少重新适配成本。

这种模块化能力对 VLA 研究尤其关键。过去，研究者为了“换一个动作头”可能需要重写整个训练脚本、数据加载器和评估逻辑；而在 StarVLA 中，这类实验更接近修改配置文件。它降低的不只是工程门槛，更重要的是降低了科学比较的门槛。

“广义 VLA”：把多条路线放进同一个理论坐标系

除了工程层面的统一，StarVLA 团队还提出了一个值得关注的理论观察：看似差异巨大的 VLA 方法，其实可以在更抽象的层面被纳入同一个公式框架。

当前 VLA 方法有多个流派：有的从视觉语言模型出发，让模型理解图像和语言后直接预测动作；有的从世界模型或视频生成模型出发，希望模型先具备预测未来状态的能力；有的采用自回归动作生成，有的采用并行回归或 Flow Matching；有的将感知、推理和控制放在单一系统中，有的则采用类似双系统的架构。

StarVLA 的统一视角认为，这些路线的核心差异可以被拆解为两个关键选择：

• 使用什么预训练模型进行初始化：例如 VLM 主干、World Model 主干，或更轻量的视觉编码器。
• 引入什么辅助训练信号：例如语言推理信号、未来画面预测信号，或只使用动作监督。

在这个视角下，VLM to VLA 与 World-Model to VLA 并不是完全割裂的两条道路。前者强调保留模型的语言理解和推理能力，后者强调保留对未来环境变化的预测能力，而二者都可以被理解为：在动作监督之外，为机器人策略学习引入某种有助于泛化的辅助信号。

这一“广义 VLA”框架的意义在于，它把过去围绕“哪条路线才是未来”的争论，转化为更可实验验证的问题：不同辅助信号在什么数据、什么任务、什么具身形态上更有效？预训练模型的能力在微调过程中如何保留？动作头与主干之间是否存在更适合的组合？

关键实验发现：统一平台带来了哪些新结论？

虽然 StarVLA 的核心定位是研究平台，而不是单纯为了刷榜的模型，但团队在搭建过程中进行了一系列控制变量实验，并得出了一些颇具启发性的结果。

发现一：极简设置也能形成强基线

在不进行额外数据增强、仅使用基准原始数据和公开预训练权重的条件下，StarVLA 在 LIBERO 上训练 30K 步即达到 98.8% 的成功率。原文还提到，在 SimplerEnv、RoboCasa-GR1、RoboTwin 2.0、LIBERO-Plus 等主流环境中，StarVLA 也取得了与主流大厂模型接近的效果。

这一结果的对比点在于，OpenVLA-OFT、GR00T、PI 等代表性方法在同类基准上通常需要约 175K 步训练。换言之，在这一实验条件下，StarVLA 将训练步数减少到约六分之一，却仍能获得非常强的表现。

这并不意味着所有训练技巧都无用，但它提示研究者：一个干净、统一、稳定的工程实现本身就可能显著影响模型表现。过去某些论文中复杂的训练策略和工程 trick，也许并非在所有场景下都是必要条件。

发现二：多源数据混合训练可能优于专用训练

在机器人学习中，一个常见担忧是不同任务、不同环境、不同形态的数据混在一起训练，会不会导致模型互相干扰，最终不如专门针对单一环境训练的模型。StarVLA 的实验给出了相反的证据。

团队将 LIBERO、SimplerEnv、RoboTwin、RoboCasa 四个基准的数据混合起来训练同一个模型，结果在难度较高的类人操作基准 RoboCasa-GR1 上，成功率从 48.8% 提升到 57.3%。这说明跨任务、跨形态的数据多样性不仅没有明显拖累模型，反而带来了正向迁移。

这一发现对“通用机器人模型”路线具有重要意义。如果多源具身数据能够在统一训练中相互促进，那么未来构建更大规模、更通用的机器人策略模型就有了更坚实的经验证据。

发现三：VLM 主干与 World Model 主干的差距没有想象中大

围绕 VLA 的技术路线，业界长期存在一个争论：机器人策略模型的最佳底座究竟应该是视觉语言模型，还是能预测未来状态的世界模型？StarVLA 将这个问题放在同一个动作头和同一训练设置下重新检验。

在实验中，团队在同一个 OFT 动作头下分别接入 Qwen3-VL 与 Cosmos-Predict2。前者代表 VLM 路线，后者代表 World Model 路线。结果显示，两者的性能相当接近。

这个结论并不意味着两类主干没有差异，而是说明在当前实验条件下，“主干血统”可能不是决定性能的唯一因素，甚至不一定是最关键因素。辅助信号、数据组合、训练策略、动作头设计以及评估环境，都可能对最终表现产生同样重要甚至更大的影响。

发现四：直接微调 VLM 可能导致能力快速退化

另一个值得注意的现象与 VLM 微调有关。许多 VLA 方法会从预训练视觉语言模型出发，再将其微调为机器人策略。但 StarVLA 的实验显示，如果不做多模态协同训练，预训练 VLM 在被微调为机器人策略的过程中，可能在几千步内迅速丢失原有的视觉理解和语言推理能力。

具体表现包括物体识别能力下降、空间定位能力变差、指令理解退化等。也就是说，模型虽然在学习“动手”，却可能快速忘记原本用于“动脑”的能力。

加入多模态协同训练后，模型能够更好地同时保留视觉语言能力和动作控制能力。这一发现提醒研究者：将 VLM 迁移到机器人领域不能只关注动作成功率，还需要关注预训练能力是否在微调过程中被破坏。

StarVLA 对研究者和工程落地意味着什么？

VLA 是具身智能中最受关注的方向之一，但也最容易陷入碎片化与刷榜化。StarVLA 的出现并不是要用一个模型取代所有路线，而是提供一个共同的实验语言，让不同方法可以在同一条件下被测试、拆解和比较。

对研究者而言，StarVLA 的最大价值在于可复现和可控变量。动作头、主干、训练信号、数据集和评估基准都被模块化之后，消融实验不再需要从零搭建复杂工程。对工程师而言，统一接口可以减少从仿真到不同基准、从单一任务到多任务训练、从换模型到换动作头的适配成本。对整个领域而言，当主流方法能在一个开放平台中被公平比较，VLA 研究就有机会从“看谁的演示更惊艳”走向“看谁的结论更经得起验证”。

根据原文信息，StarVLA 已开源代码、训练脚本、评估接口与预训练权重，并支持多个主流具身智能基准。其已集成的方法覆盖 QwenVL、Wan 等主干，以及 FAST、OFT、π₀、GR00T 等不同类型动作头。对于希望系统研究 VLA 架构差异、建立机器人策略基线，或验证多源数据和协同训练效果的团队来说，这类统一框架可能会成为后续实验的重要起点。

从更长远看，VLA 领域真正需要的不只是更炫目的机器人演示，而是能让结论被复现、被比较、被挑战的公共基础设施。StarVLA 的意义正在于此：它把散落在不同论文和代码仓库中的方法放到同一个实验台上，让具身智能研究更接近一门可验证、可积累的工程科学。