看完百万小时人类视频,这双机器手没练过的活也能上手

包馄饨,对人来说太简单了。

一手托皮,一手挑馅,对折,捏边,收口,几秒就完事。

可到了机器人身上,每个动作都是硬骨头。

手掌得一直托住一张随时会变形的面皮。

手指要不停感受馅料和面皮的回弹。

两只手还得赶在恰当的时机交接。

这些麻烦,如今正被一个个解开。

在一段 1 分 12 秒、原速一镜到底的视频里,一双机器手真的把馄饨包了出来。

包馄饨演示

驱动这双手的,是北京一家具身智能公司刚放出的模型。

它叫 Natura-1,500 亿参数,走的是混合专家路线。

预训练喂了 100 万小时第一人称视角的人类经验。

输入是语言和画面,输出直接落到一双 20 个自由度的灵巧手上。

从看懂指令到动手,整个控制回路的延迟压在 100 毫秒以内。

这类东西不是摆在实验室里的展示品,而是一件能直接下到产线上的 AI工具。

官方账号的发布推文截图

包馄饨回答的是能不能做好。

它更想回答的,是另一个更难的问题。

换一个从没练过的活,它还能不能直接上手。

灵巧和通用,本来就难兼得

先看灵巧这一头。

人手有二十多个自由度。

日常的东西又常常柔软易变形,还会回弹。

每次接触都在改动物体状态。

机器人只能边做边调。

难点也明摆着,复杂度会随自由度指数级往上翻。

平行夹爪与灵巧手的自由度对比图

平行夹爪能把控制大大简化。

代价是很多承托和捻转这类双手配合的动作做不出来。

所以过去的工作大多各守一端。

要么是面向夹爪的通用策略,要么是为单个任务专门打造的灵巧系统。

通用这一头,前面已经有开源模型做出重要进展。

不过要比 AI编程 那种纯软件任务,物理世界的操作难得多。

第一道坎就是数据。

泛化靠的是规模大、来源杂的训练数据。

真机数据本身就贵,灵巧手的遥操作采集更是又慢又难。

团队还点出了一个更根本的死循环。

机器人只能在它已经会干活的地方采数据。

而它又只能在有数据的地方干活。

要打破它,数据就得从机器人之外来。

于是越来越多团队把目光投向一个现成的来源,人自己。

今年 2 月,英伟达等机构的一项工作,用两万多小时第一人称人类操作视频预训练视觉语言动作模型。

他们观察到,数据规模和验证损失之间近乎完美的对数线性关系。

落到 22 个自由度的灵巧手上后,它的表现明显更好。

平均成功率比不做人类数据预训练的基线高出 54%。

人类数据的缩放曲线组图

半年之后,这个量级被推高了大约 50 倍。

8 月,美国一家人形机器人公司放出一款世界动作模型。

预训练用了超过 100 万小时的第一人称人类视频。

而且预训练阶段一点机器人数据都不掺。

据它自己的报告,数据从 1000 小时一路放大到 100 万小时。

模型在 14 个机器人任务上的平均归一化得分,从 20% 升到了 53%。

另一款世界-动作模型的缩放曲线图

只是这两项工作都没绕开同一个环节。

人类经验要落到具体任务上,仍得额外做一轮适配。

前者依赖少量人机对齐数据做中间训练。

后者在每个评测任务上都用了最多 10 小时的机器人数据做后训练。

人类经验已经被证明能成规模地喂给机器人。

下一个问题是,在一双高自由度的灵巧手上,这些经验能不能不做逐任务适配。

又能不能直接迁移到新任务上。

一个模型,两种能力

自然意志成立于今年 1 月。

创始人丁宁,是清华大学电子工程系的助理教授。

公司做的是物理世界基础模型。

它给自己定的目标是通用物理智能。

说白了,就是训练出能在真实世界里完成感知与预测、推理和动作闭环的通用底座。

在他们看来,这背后有两个判断。

通用的物理世界基础模型有可能成立。

人类第一视角数据已经具备了规模化采集的条件。

这两个判断延续的是大语言模型那套方法论。

模型和数据,加上基础设施,得一起长。

团队的说法是,早期先用小模型和小数据快速验证架构,确认方向后再逐步放大。

而不是一上来就认定非得做个 500 亿参数的模型不可。

Natura-1 是这家公司的第一个物理世界通用基础模型。

训练分两步。

先在 100 万小时人类经验数据上预训练。

再用有限的机器人数据做一轮高效后训练,把预训练学到的世界知识适配到灵巧操作上。

和许多系统不同,它没有把看懂指令、预测世界和生成动作拆成不同模块。

它是一个单一的混合专家架构,在语言与图像,还有视频和动作上联合训练。

它瞄准两项能力。

一项是灵巧操作,靠灵巧手完成多指协同、物体姿态调整和复杂接触。

另一项是零样本指令遵循。

面对没见过的场景和任务,直接照着自然语言指令完成操作。

这当中还包括处理空间约束、多物体关系和否定条件。

它和人的配合也简单。

更像一场 AI对话,一句自然语言接一个动作。

它到底能做什么

这家公司从三个层面考了它。

长程任务,看一项技能练成之后能做得多精细、撑多久。

零样本测试,看它面对没练过的任务能不能直接上手。

最后一部分记录的是涌现能力,看任务不顺的时候它能不能自己想出办法。

先说灵巧。

除包馄饨之外,团队还放出另外五段演示。

泡茶。做酸奶碗。打包快递。贴手机膜。写毛笔字。

最长的一段超过 3 分钟。

全是原速。

一镜到底,没有人工干预。

每段都含好几个子任务。

机器人要在同一条流程里连续处理液体和颗粒,还有柔软工具与柔性部件。

以 3 分钟的贴手机膜为例。

它先擦拭屏幕。

再把预装保护膜的对位框套上手机,双手对齐压实。

随后一只手把手机和对位框抵在夹具上,另一只手连贯地抽出离型膜。

最后用指尖沿边角推压,把气泡赶走。

贴手机膜演示

打包快递的时候,它得在拉菲草、毛绒玩具和笔记本之间换抓法。

一只手压住会回弹的箱盖,另一只手推动胶带器封箱,最后贴上标签扫条码。

打包快递演示

这些动作一边执行,一边改变着物体的形状和接触条件。

模型必须依据实时反馈不停修正,而不是照着一条固定轨迹走完。

需要说明的是,这六段演示展示的是任务微调之后的深度。

能力能不能带到没练过的任务上,还得看零样本测试。

再说零样本。

什么才算零样本。

团队的解释是,模型完成预训练和真机后训练之后,不再针对测试任务专门采数据,也不追加训练。

它就直接接受指令并执行。

他们搭了一套覆盖 12 个能力维度的基准。

测试任务连同场景和动作组合,都没出现在后训练数据里。

每段测试视频旁边,还并排放着训练集里最相近的示范,方便外界判断差异。

举个例子。

一项任务要求把苹果放进碗里,把瓶子放上托盘,再把托盘端走。

可训练集里只有拿起水果和端起已装好的托盘这样的分立动作。

Natura-1 把两者组合了起来。

端托盘的时候,它也没碰到旁边的另一只托盘。

零样本任务演示截图

在这套基准上,一款前沿模型和一个国外大模型都试过编程式控制策略。

它们在灵巧手平台上都拿不到分。

换到夹爪平台后,两者分别得到 13.5 分和 16.7 分。

它在灵巧手上得到 53.4 分和 59.1 分。

跨本体的总得分对比图

不只是分数。

它在执行时间上的优势也很明显。

平均执行时间对比图

团队还用研究员日常临时想到的开放指令做了测试。

不少题目故意出得很刁钻。

比如同样是把牙刷盒和水瓶放进筐里,指令却要求双手同时放。

还有的指令要先左后右,有的要先右后左。

它都照着做了。

开放指令测试截图

对于没见过这三个字,团队给了限定。

预训练数据覆盖很广,当中可能已经包含相关物品和操作经验。

所以他们说的没见过,主要是相对于真机后训练而言。

他们举的例子是按下笔记本的空格键。

机器人后训练数据里没有这个任务。

但人类视频里很可能出现过类似的动作。

空格键任务的演示动图

这也点出了零样本在这条路线上的含义。

人类视频里的经验,能不能在没有对应机器人数据的时候,被直接调到真机上。

用团队的话说,他们关注的不只是换一个物体还能不能抓取。

也包括面对没专门训练过的任务要求,能不能把已有能力组织起来,把任务完成。

最后是意料之外的涌现。

团队还观察到一些不在测试计划内的行为。

在一个故意布置的场景里,装着毛线的篮子放在够不到的高台上,提手里穿着一根长杆。

指令只有一句,试试拿到毛线。

模型抓住长杆把篮子拉近。

再一只手稳住长杆,另一只手把毛线取了出来。

毛线篮场景的演示动图
扑克牌拿取的演示动图

另一次,它没能从边缘捏起一张扑克牌。

它就改为把牌推到盒子边缘,让一部分悬空,再双手配合拿起来。

据团队介绍,这些中间步骤在机器人示范数据里都没有对应。

团队回忆,数据规模还小的时候,模型没抓住,手却照着原计划继续移动。

规模扩大以后,它开始能及时调整、重新尝试。

失败后自行调整的演示动图

他们并没有在真机后训练里刻意采集这类失败恢复的示范。

可模型还是表现出了恢复能力。

团队判断,大规模人类预训练数据里包含了丰富的调整和重试经验。

模型从中学到了怎么应对操作中的变化。

团队也坦承,这是他们在扩大训练规模时观察到的现象。

具体的能力来源和机制,还需要进一步研究。

能力从哪里来

在他们看来,长程灵巧操作和零样本泛化不会偶然发生。

人类经验数量充足,可它只是原料。

要把原料变成机器人的动作,数据、模型和基础设施得一起设计。

数据负责给每段录像配上语言和动作监督。

模型负责从每条轨迹里学到尽可能多的东西。

基础设施既要撑起大规模训练,又要在 100 毫秒内完成推理。

先说数据。

训练数据是筛选之后的 100 万小时第一人称人类经验。

它包含大约 6170 万个片段,31.8 万个任务,还有 1.4 万个场景。

以受控采集为主,辅以互联网上的第一视角视频。

训练数据规模信息图

团队用结构化的任务分类体系和智能体工作流来分析覆盖缺口。

把采集优先级调向稀缺的地方。

原始录像要经过清洗去重、动作重建和分层语言标注。

这样才变成视频、语言和动作三对齐的轨迹。

在内部基准上,他们自研的动作重建管线,关节位置误差比现有开源方法低 41%。

Natura-1 数据系统示意图

选择人类数据和选择灵巧手,其实是同一个决定。

团队的解释是,家庭和工业场景里的很多工具和操作方式都围绕人手设计。

他们希望机器人去适应这些工具,而不是每进一个场景就重新改造工具和流程。

另一方面,人类第一视角数据更容易规模化采集。

用灵巧手能保留其中更丰富的手部动作信息。

也减少了把人手动作压缩成夹爪开合时的信息损失。

再看基础设施。

让一切都可扩展,是这支团队的技术理念。

数据侧,数据湖仓管理着数十 PB 的数据。

基于容器编排的并行管线每周能产出 35 万小时,吞吐随算力近似线性增长。

他们的设计目标是,数据量涨十倍的时候,相应加约十倍资源。

这样仍然能在接近原来的时间里处理完,不必重新搭一整套系统。

训练侧,自研框架在数百张显卡上做到超过 50% 的算力利用率。

自研注意力算子的吞吐,是调优之后同类实现的 6 倍以上。

推理侧,他们用系统级语言重写了服务框架,把端到端延迟压进 100 毫秒,满足真机实时控制。

训练与推理基础设施示意图

这背后的思路和大语言模型的基础设施建设是一致的。

数据和模型规模会持续增长,系统得提前为这种增长留出余地。

最后是模型。

它把整个任务片段切成一条序列,里面混着语言与图像,还有视频和动作四种标记。

然后自回归建模,骨干是标准的混合专家架构。

核心思路是把视频和动作看成同一个物理状态的两种投影。

动作标签稀缺,视频却很丰富。

模型拿过去的视频当记忆,预测未来的视频。

它用流匹配同时对视频和动作做联合去噪,从每条轨迹里榨出更多监督。

为了防止模型只看画面、忽略指令,预训练还借助细粒度描述让语言承重。

不同的意图,因此对应不同的预测结果。

模型结构示意图

缩放曲线显示,训练经验从大约 4.4 万小时增到 100 万小时。

模型在人类留出数据上的动作预测误差,下降了 47.7%。

同一套权重放到真机留出数据上,误差下降 67.7%。

这两项是教师强制下的预测误差,不是任务成功率。

但至少说明,人类经验的增长确实能传到机器人身上。

Natura-1 的缩放曲线图

它已经给出了灵巧和通用可以共存的早期证据。

至于下一阶段,团队最核心的目标是继续提升模型在不同任务和场景里的泛化能力。

让它更可靠地完成真实世界里的复杂任务。

他们的目标是从能够完成部分步骤,走向稳定、高效地完成整件事情。

为此,他们计划把触觉信息加进数据和模型。

同时在更大规模的数据上预训练,降低迁移到机器人时的适配成本。

他们还想让模型能在更便宜的硬件上跑。

团队预计,这会是一项长期投入。

放到更大的行业背景里看,这条路线正在从少数团队的押注变成越来越多人的共识。

今年 6 月,一项研究在相同数据规模下对比了两种预训练数据。

结果发现,第一视角人类视频的效果可以超过遥操作采集的真机数据。

它在分布外泛化上的优势最明显。

那家美国公司还说了下一步。

它要把训练规模扩大到 1000 万小时。

当百万小时不再稀缺,比拼的重点也在转移。

同样的人类视频,能不能被更准确地重建成动作,标注成语言。

模型落到机器人身上,需要多少适配。

以及选择什么样的本体去接住这些经验。

它押注的是其中难度最高的一种组合。

用一双高自由度的灵巧手去承接人类经验,让同一个模型直接面对没练过的任务。

这条路能走多远,既取决于灵巧手的稳定性和成本能不能跟上。

也取决于人类经验的缩放曲线能不能继续延伸。

收尾的演示动图

在一个由人手塑造、供人手取用的世界里,向人手学习能让机器人走多远。

这家公司交出了第一份可以检验的答卷。