算力不再是瓶颈！GS-Playground开源：首个高吞吐并行仿真+高保真3DGS渲染框架，实现具身智能零微调迁移

导语：GS-Playground 突破视觉仿真算力瓶颈，将高保真渲染与并行物理仿真深度结合，实现端到端零微调部署，已正式开源。

具身智能正加速向以视觉为中心的感知范式转型，视觉作为信息密度最高、与人机交互最契合的模态，是解锁通用机器人技能的关键。然而，研究者长期面临“看得真”与“训得快”难以兼得的困境：高保真渲染开销巨大，人工建模低效，平台兼容性不足。为攻克这些难题，清华大学智能产业研究院（AIR）DISCOVER Lab 联合谋先飞技术、原力灵机、求之科技和地瓜机器人，推出通用多模态仿真框架 GS-Playground。该框架首次深度融合高吞吐量并行物理仿真与高保真视觉渲染，被机器人领域顶会 RSS 2026 录用，为规模化视觉策略训练和 Sim-to-Real 迁移提供了全新基础设施。

通用全场景原生兼容：统一的具身智能仿真底座

GS-Playground 定位于通用型仿真平台，搭载团队自研的跨平台并行物理引擎，原生支持 CPU/GPU 双后端与 Windows/Linux/macOS 全系统运行。平台无缝适配四足机器人、全尺寸人形机器人、多自由度工业机械臂等全品类形态，实现开箱即用的原生适配，无需二次开发。它还全面覆盖运动控制、自主导航、高接触精度操作三大核心任务场景，API 完全兼容 MuJoCo MJCF 格式，现有项目可零摩擦快速迁移，极大降低研究者的适配成本。

自研高性能并行物理引擎：稳定可信的底层动力学

对于视觉中心的机器人学习，“看得真”只是第一步，策略能否迁移到真实世界取决于复杂接触下的物理反馈稳定性。GS-Playground 从底层自研了高性能并行物理引擎，采用广义坐标下的速度-冲量动力学公式，将接触与摩擦统一建模为混合互补问题（MCP），并通过投影高斯-赛德尔（PGS）求解器实现稳定求解。这一设计强调静摩擦保持、高刚度约束与大时间步稳定性，尤其适合足式运动、抓取和密集多体接触等高动态任务。

为支撑大规模并行训练，团队引入 约束岛并行化与接触流形热启动机制：前者将独立刚体系统拆分并行求解，后者利用上一帧累积的接触冲量作为初值，将稳定堆叠场景的 PGS 迭代次数从50次以上降低至10次以内，极大提升收敛效率。实验显示，在 Franka Panda 动态抓取摇晃测试中，GS-Playground 的 CPU 后端在 0.002s 与 0.01s 时间步下均实现 90/90 的完整保持成功率，显著优于 MuJoCo、IsaacSim 和 Genesis 等主流方案；在27自由度人形机器人多体交互基准中，单环境扩展到50个机器人时，CPU 后端仍保持 1015 FPS 稳定吞吐，相比 MuJoCo 加速32倍，相比 MjWarp 提升约600倍。

内存高效 Batch 3DGS 渲染：打破保真与效率的不可能三角

数千个高保真 3DGS 场景同时渲染的显存与算力开销，是视觉驱动机器人大规模训练的核心卡点。团队设计了专属的高效剪枝策略，可将高斯点数量减少90%以上，而峰值信噪比（PSNR）下降不足0.05，视觉差异几乎不可感知。这一技术在大幅降低显存占用的同时，近乎无损地保留了场景视觉质量。

在此基础上，团队研发了深度优化的批量 3DGS 渲染器，实现多场景高斯渲染的并行处理。在单张 NVIDIA RTX 4090 GPU 上，于 640×480 分辨率下可实现最高 10000 FPS 的突破性吞吐量，最多可同时渲染 2048 个场景，完美适配大批次强化学习工作流，让大规模并行训练不再受制于渲染性能。

团队还提出刚性连杆高斯运动学（RLGK）机制，将 3D 高斯簇与物理引擎中的对应刚体精准绑定，确保视觉与物理位姿实时同步，零额外开销实现状态更新。即使在快速运动、频繁接触的动态场景中，渲染器仍能输出无伪影的稳定画面，从根源解决动态渲染的时间一致性与视觉伪影问题。

自动化 “Sim-Ready” Real2Sim 工作流：降低数字资产构建门槛

传统仿真场景构建耗时费力，人工建模难以复刻真实环境的视觉与物理特性，感知与物理的双重鸿沟成为 Sim-to-Real 迁移的核心卡点。GS-Playground 设计了一套全自动“图像到物理” Real2Sim 工作流，仅需单张 RGB 图像，即可在数分钟内生成仿真就绪的数字资产，实现真实场景的快速数字孪生，同时保证视觉真实与物理一致性。

基于该工作流，团队构建了 Bridge-GS 数据集，在 Bridge-v2 基础上补充了场景与物体级的 3DGS 表征、网格模型、6D 位姿及校准相机参数，为行业提供标准化高质量仿真数据。同时在 InteriorGS 数据集上的泛化性验证证明该管线对不同室内场景具备强适配能力。

全链路端到端验证：实现零微调无缝 Sim-to-Real 迁移

依托三大核心技术的深度协同，GS-Playground 构建了从真实场景重建、大规模并行训练到真机部署的全链路闭环，实现“重建即训练、训练即部署”的研发流程革新。平台可稳定支持数千个并行环境同时运行，为四足、人形、机械臂等全品类机器人的大规模视觉强化学习提供支撑。仅在仿真环境中训练的策略，无需任何微调即可直接部署：

• 四足和人形机器人的运动策略全部 zero-shot 部署成功；
• 视觉导航任务实现零样本真机直接部署；
• 机械臂抓取任务在零微调前提下，真实场景成功率达到 90%。

实验结果充分证明，平台实现了无壁垒的仿真到真实迁移，弥合了感知与物理的跨域鸿沟。

开源赋能，共筑具身智能新生态

作为行业首个深度融合高吞吐并行物理仿真与高保真批量 3DGS 渲染的全栈框架，GS-Playground 从根源突破了算力、显存与资产生成三大瓶颈。自动化的 Real2Sim 工作流大幅降低了高保真仿真构建成本，全维度实验验证了其在足式运动、导航、操作等主流任务中同时弥合物理与感知鸿沟的能力。

该框架已正式开源，提供高性能、易使用、高泛化性的基础设施，助力大规模端到端视觉驱动机器人策略学习的发展与产业落地。未来团队将持续迭代优化，拓展能力边界。

项目主页：https://gsplayground.github.io
论文链接：https://arxiv.org/abs/2604.25459
仓库链接：https://github.com/discoverse-dev/gs_playground