英伟达机器人负责人放话:VLA已死,遥操将亡!具身智能迎来范式革命?
导语:Jim Fan连开两场“葬礼”:VLA已死,遥操作将亡。机器人正全面复刻LLM路线,World Action Models登场。
在今年的红杉AI Ascent 2026上,英伟达机器人方向负责人Jim Fan用20分钟连开两场“葬礼”:一场为统治具身智能三年的VLA(视觉-语言-动作模型),另一场为被寄予厚望多年的遥操作。他宣告旧范式已死,新范式当立,并毫不掩饰地表示,机器人正全面复刻大语言模型(LLM)的成功路径。

从GPT到机器人:一场“大平行”运动
Jim Fan首先回顾了自己与黄仁勋的初次相遇——2016年夏,那台改变人工智能历史的DGX-1被赠予OpenAI,托盘上签满了名字。彼时,没有人想到深度学习的信仰会如此迅速地改变世界。

他引用了Ilya Sutskever的名言:“如果你相信深度学习,那它也会相信你。” 随后的六年里,语言模型经历了三次关键突破:2020年GPT-3的预训练(学习语法、结构),2022年InstructGPT的监督微调与强化学习(校准任务执行),直至2026年的自动化研究(autoresearch),形成完整的正向循环。Jim Fan毫不掩饰对语言模型团队的羡慕,“他们正在极速开发AGI,将路上的创造称为‘神话’”。

于是,他牵起了所谓“大平行”(Great Parallel)——将语言模型的成功策略完全移植到物理世界:预训练不再模拟字符串,而是模拟物理世界的下一个状态;随后通过动作微调校准对真实机器人有价值的部分;最后用强化学习跑完最后一里路。


VLA的葬礼:世界动作模型WAM登场
过去三年,VLA模型(如RT-2、Pi、Gr00t)几乎统治了具身智能。它们的典型设计是:在视觉语言模型(VLM)之上添加动作头,大部分参数服务于语言,视觉和动作沦为二等公民。Jim Fan称之为“头重脚轻”——擅长编码知识和名词,却在物理和动词上表现不足。他举了RT-2原论文的例子:将可乐移动到泰勒·斯威夫特的照片上,机器人从未见过她却能泛化,“但这并不是我们想要的预训练能力”。
另一条伪范式则是AI视频生成模型。虽然它们常沦为“AI垃圾”(如猫咪弹班卓琴),但Jim Fan指出,这些模型在内部学会了模拟下一个世界状态:重力、浮力、光照、反射、折射等物理规律随着大规模像素预测而自发涌现。他以Veo-3为例,模型不仅能前向模拟物体的物理行为,甚至学会了“如果你没在看,几何就是可选的”——被戏称为“物理垃圾”。

关键在于如何让这些世界模型变得有用。英伟达的答案是Dream Zero——一种全新的策略模型。它先“梦”到未来几秒可能发生的场景,再据此产生动作。机器人运动控制信号本质上与像素一样,是连续的高维数据流,因此Dream Zero可以同时解码未来状态和下一步动作。更惊人的是,它能零样本泛化到训练中从未见过的新任务;执行时,机器人甚至可以“可视化”它在想什么:视频预测正确时动作通常正确,视频开始幻觉时动作就会失败。
Jim Fan将这类模型命名为World Action Models(WAM,世界动作模型),并宣布:“VLA已死,WAM当立。” 他认为Dream Zero当前的能力类似GPT-2——虽不完美,但总能先抓住动作的大致“形状”,为机器人迈向开放式、开放词汇提示奠定了第一步。
遥操作的终局:从遥操到人类传感器数据
转向数据策略时,Jim Fan展示了一张照片:英伟达首席科学家Bill Dally正在亲手操作遥操设备。考虑到他的薪水,这可能是“整个数据集里成本最高的一条轨迹”。过去三年,遥操作统治了机器人数据生产——VR头显、低延迟串流系统、形似中世纪刑具的复杂设备,行业砸下重金,也承受了巨大痛苦。但遥操的数据产能存在物理极限,一台机器一天理论上最多24小时,现实中稳定采集3小时已是庆幸。
出路何在?英伟达提出了UMI(Universal Manipulation Interface,通用操作接口),直接将人手作为操作器。更重要的是,Jim Fan预言,未来一到两年,遥操在数据中的占比将降至忽略不计,机器人数据的主食将变为第一视角人类视频——他称之为“Sensorized Human Data”(人类传感器数据)。因为人类第一视角视频成功揭示了机器人领域的scaling law,英伟达将彻底押注这一范式。
机器人科技树的三个成就
演讲末尾,Jim Fan勾勒出机器人终局之战余下的三个科技树成就:
- 物理图灵测试(2-3年内):在物理交互中达到与人类无法区分的水平。
- Physical API:让机器人能够像调用软件API一样组合物理技能。
- Physical Auto Research:机器人自主进行物理实验和技能发现,最终实现自动化研究。
他预计,这三个成就将在2040年之前全部点亮,从而彻底实现“机器人联盟”的终局之战。
正如Andrej Karpathy所言,所有付出都在向最终目标冲刺。只是这一次,Jim Fan和他的团队选择让机器人复刻语言模型的路径,并用一场酣畅淋漓的演讲宣告:旧神已死,新神当立。