一段视频,换一个技能
昨天 NVIDIA 发布了机器人基础模型 GR00T 2。新闻稿里的说法是"看人类操作视频即可迁移技能",这种表述在机器人领域已经被喊了好几年,容易让人以为是又一次营销包装。但翻完技术报告之后,我认为这次不太一样——它不是把老思路做得更好,而是换了一条路线。
先看数字。GR00T 2 的训练数据包括约 40 万小时人类佩戴头戴相机拍摄的第一视角操作视频,训练用了超过 1000 颗 GB300 GPU。学会新任务的方式是:一个人戴上数据手套或手指外骨骼,把操作过程演示一遍,系统把这段人类手部运动"翻译"成机器人本体的执行轨迹。实验室里,一只五指手机器人靠这种方式学会了划火柴、切香蕉、把包裹抛上传送带——全程没有针对这些任务做过任何遥操作数据采集。
任务成功率在 10%–80% 之间浮动,说实话不算漂亮。但对 50 个模型已经初步掌握的任务,不到 3 分钟的常规微调就能把成功率从 40% 拉到 95%。这个数字才是关键:数据采集成本不再以"小时计的遥操作"为单位,而是以"分钟计的微调"为单位。
从 VLA 到 WAM:一次范式级别的换道
要理解 GR00T 2 为什么重要,得先看它推翻了什么。
过去三年,机器人学习的主流范式是 VLA(Vision-Language-Action):输入相机图像和语言指令,直接输出电机指令。GR00T 1 也是这条路。VLA 的问题在于它是一个黑箱映射——图像进去、动作出来,中间没有对物理世界的显式建模。这导致两个后果:一是跨本体迁移极其困难,为 Franka 机械臂训练的模型搬到人形机器人上基本作废;二是模型无法"想象"动作的后果,只能靠大量数据暴力覆盖各种情况。
GR00T 2 放弃了 VLA,NVIDIA 给新架构起了个名字:世界-动作模型(World-Action Model, WAM)。它的核心机制是:在计算下一个动作的同时,用扩散模型生成一段"即将看到的未来"的短视频——机械臂抓起一个物体时,相机画面应该怎么变化。动作和视觉预测被绑在同一个模型里训练。
这个设计解决了一个根本问题:**当模型必须预测"我做了这个动作之后世界会变成什么样",它就被迫学习物理常识,而不只是学习"图像到动作"的统计相关性。**这和大语言模型通过预测下一个 token 被迫学会语法和事实,是同一种逻辑。
而视频预测正是 EgoTransfer 方法成立的技术前提。把人类操作视频迁移给机器人,难点从来不是"手怎么动",而是人手和机械爪的形态差异——人手五指灵活,机械爪可能是两指夹爪,动作根本不是一一对应。GR00T 2 的做法是用视频扩散模型把人类手部运动"重新想象"成机器人本体的执行画面,再从想象出的画面中解出控制指令。迁移不是在动作空间里硬翻译,而是在视觉表象空间里做归一化——人怎么做,机器人就"想象自己怎么做"。这就是为什么模型能跨本体工作:只要给足目标机器人的常规运动数据,任何形态的机器人都套得进这套想象框架。
数据墙:具身智能真正的瓶颈
具身智能行业有个公开的秘密:模型架构不是瓶颈,数据才是。
对比一下数字世界和物理世界的差距。GPT 系列的训练语料是数万亿 token 的互联网文本,LLM 的发展本质上是在"吃"人类几十年积累的数字化产出。而机器人呢?真实机器人操作数据的采集成本极高——一条遥操作轨迹需要一个熟练操作员几分钟到几十分钟,采集一个像样的任务数据集要数千条轨迹。Open X-Embodiment 数据集汇聚了全球几十家机构的努力,总时长不过百万级 episodes,和互联网文本的规模差着五六个数量级。
这就是具身智能的"数据墙":互联网上有无穷多的文本和图片,但没有无穷多的机器人操作视频——直到你意识到,有海量的"人类操作视频"。YouTube 上的教程视频、工厂的监控录像、VR 头显的第一视角记录,这些数据的总量是遥操作数据的几个数量级之上。GR00T 2 的 40 万小时头戴相机视频只是这个宝库的第一铲。
今天日报里的另外两条新闻恰好构成同一趋势的注脚:Google DeepMind 的 Gemini Robotics 2.5 在奔驰产线上做到金属件分拣 96% 成功率,且新增了从自身失败中自我改进的能力——机器人执行数据本身也成了可循环利用的训练资源;蚂蚁灵波同日开源了触觉基础模型 LingBot-Touch,把触觉传感数据纳入统一表征——视觉之外的模态也在走"基础模型化"的路。数据来源从"人工采集"扩展到"人类视频 + 自我经验 + 多模态传感",三路并进,墙在从多个方向被推倒。
冷静的部分:论文里那些没上头条的数字
作为技术博客,只报喜不报忧就是复读机了。GR00T 2 的技术报告里藏着几个值得警惕的细节。
第一,它没有触觉。 模型不处理触觉传感数据,报告里明确提到它会漏掉"螺丝拧了一半"这类需要力反馈才能察觉的细微错误。这对分拣场景无所谓,但对装配这类精密任务是硬伤——而装配恰恰是工业界最想自动化的场景。LingBot-Touch 选择触觉路线,未必不是对这个空白的精准卡位。
第二,分层架构的延迟代价。 长时程装配任务需要上层语言模型(NVIDIA 用的是 GPT-6 Astra)做任务分解、抓取点标注和异常恢复。加上这个"大脑"之后,玩具车装配成功率从 23% 跳到 97%——但代价是机器人在垃圾分拣任务中有约三分之一的时间在原地等待,上层规划平均要 7 秒才返回一步。快的大脑和慢的大脑还没融合,现在的方案是两个模型各干各的,中间靠提示词胶水粘合。
第三,成功率分布很宽。 10%–80% 的任务成功率区间意味着:简单任务接近可用,难任务还差得远。GR00T 2 Turbo 在人形机器人上用毛巾擦液体,成功率勉强过半。这离"可靠的通用劳动机器"还有明显距离。
这些不是否定,而是定位:GR00T 2 证明的是路线可行性,不是产品成熟度。就像 GPT-2 之于 GPT-4——第一代证明了"互联网文本能催生通用语言能力",真正的爆发在数据和算力再堆两个数量级之后。
判断:机器人学习的"LLM 时刻"前夜
把 GR00T 2 放回行业脉络里,我看到三条推演。
推演一:遥操作数据公司的好日子到头了。 过去两年冒出一批靠"数据工厂"模式融资的公司,雇人遥操作机器人采集训练数据。如果人类视频迁移路线成熟,这类数据的市场价格会像温室鲜花遇上寒潮——头戴相机视频的边际成本几乎为零。数据生意的新重心会转向高质量多本体机器人执行数据的采集,以及把 YouTube 存量视频清洗成第一视角训练集的"数据炼金"环节。
推演二:世界模型成为具身智能的下一个军备竞赛。 WAM 的本质是把"世界模型"(预测环境变化)和"策略"(决定动作)合并训练。Genie、Sora 这类视频生成模型的进展,会直接反哺机器人领域——视频生成质量每上一个台阶,机器人的"想象力"就清晰一分。NVIDIA 做机器人基础模型,OpenAI 和 Google 做 Sora 和 Veo,表面是两条产品线,底层可能在抢同一块技术资产:可用的视频扩散骨干。
推演三:Sim2Real 之争有了新答案。 过去机器人学习分两派:仿真派(在 Isaac Gym 里海量并行训练再迁移真机)和真机派(真机数据采集)。GR00T 2 展示了第三条路——用人类真实视频做"天然仿真",兼得真实性和规模化。报告里锤钉子的任务就是从单段人类视频在仿真中学会的。人类视频可能是仿真和真机之间缺失的那座桥。
当然,前提是这条路线真的能从 40 万小时扩展到 400 万小时而不撞上新的墙——数据规模扩大后模型是否持续提升,VLA 阵营(Gemini Robotics 仍是 VLA 路线)会不会靠执行数据自我改进追上来,都是未知数。
但方向感已经足够清晰:机器人学习正在复制 LLM 的剧本——找到一种把人类既有行为大规模数字化的方法,然后用量变引发质变。 互联网文本之于 GPT,是 20 年前的无心插柳;人类操作视频之于机器人,是当下正在发生的主动收割。
下一次你戴着头戴相机修东西、做饭、组装家具的时候,可以想想:你正在生产下一代机器人最渴望的训练语料。而我们这代人对物理世界的一切熟练操作,可能就是这样——一段视频、一段视频地——传给机器的。
本文基于 2026-11-11 AI 洞察日报深挖撰写,原始信源:NVIDIA GR00T 2 技术报告、The Decoder 报道。