具身智能的数据路线正在转向。
真机遥操作的数据又贵又慢。
越来越多团队把目光投向人类视频。
英伟达等团队用两万小时第一视角视频预训练策略，拟合出一条对数线性曲线。
人类数据预训练的 Scaling 曲线，三条图分别看验证损失与任务得分。
这条路用在夹爪抓取上比较顺。
换成二十多个自由度的灵巧手，事情就复杂了。
视频记下的是手怎么动，不记用了多大力。
Sharpa Wave 灵巧手，指尖带触觉。
拧瓶盖和插接头这类活，成败就在几毫米之间。
接触发生之后的那几毫米，才决定做没做成。
灵巧操作的数据难题，本质上是接触的难题。
灵巧手不是软件类的 AI工具。
硬件到手就能用，数据得一点点攒。
这一层最难。
Sharpa 是一家专注灵巧操作的公司。
他们围绕这个问题划了三条主线。
一是把数据采集从以机器人为中心，挪到以人为中心。
二是把运动与交互拆开，接触交给高频的底层控制。
三是以触觉为锚，学一套跨本体的通用操作表征。
这套硬件成了不少前沿研究的载体。
谷歌和英伟达等团队都在上面做过实验。
前两天谷歌发布的新模型，丢沙包案例用的就是这只手。
谷歌丢沙包实验用的就是这只手。
Sharpa 还和香港大学与伯克利合作，也跟清华和上海交大一起做研究。
方向是数据采集和模型学习，还包括跨本体泛化。
机器之心近日和张凯峰聊了这些工作。
他是 Sharpa 的学术负责人。
MoDE-VLA 论文里双手削苹果的动作序列。
先看一个具体任务，双手削一个苹果。
一只手要握住苹果并持续转动。
另一只手控制削皮器沿着表面推进。
苹果的曲率在变，果皮厚度也在变。
握力和削皮的角度都要跟着调。
MoDE-VLA 论文标题页，右下角印着四个任务的缩写。
两只手做的不是对称动作。
一只负责稳和转，另一只负责削。
两只手还要对上节奏。
在 Sharpa 与上海交大等机构合作的论文里，这个任务交给了主流 VLA 模型当基线。
结果成功率是 0，削皮完成度只有 8。
结果差得远。
这并不意外。
论文开篇就指出，VLA 在平行夹爪的抓取放置上已经成熟。
面对接触丰富和需要双手协同的任务，能力明显不足。
短板不在 AI对话。
问题在这。
要回答这个，得先讲清灵巧手和夹爪的区别。
在张凯峰看来，区别不只是自由度的多少。
传统的机械臂和夹爪，把操作简化成了运动学问题。
灵巧手有动力学的问题。
夹爪的动作空间基本只有开和合。
移到正确位置，在正确时刻闭合，任务就大体完成。
灵巧手要调用抓和拉，也要调用拧和捏。
这类底层原子技能，他估计有几十种。
所以灵巧操作不能只靠看准位置再执行。
力的大小和接触状态，都会实时影响下一步。
外骨骼遥操作的双视角，左侧标着 IMCopilot 动作提示。
硬件层面已经不是瓶颈。
高自由度和带触觉的手都逐步成熟。
他判断硬件之后最大的瓶颈在数据。
尤其是类人的灵巧操作数据。
难就难在，这类数据必须包含接触信息。
目前这类数据主要有两个来源。
第一种是遥操作。
人通过视觉设备或外骨骼远程控制机器人。
系统记录的是机器人自身的动作。
过去几年学界做了不少遥操作系统。
沉浸感和易用性一直在改进。
这类数据和机器人本体对应，可以直接拿来训练。
但遥操作有一个绕不开的问题。
操作员感受不到机器人的接触。
指尖的力和触觉很难实时传给操作员。
精细操作里，他只能凭视觉猜力度。
效率和数据的质量都会受影响。
第二种是以人为中心。
人直接用自己的手完成任务。
动捕设备和数据手套都能记录。
头戴相机也是一条路。
人手本身有完整的触觉反馈。
操作自然，数据也更容易扩大规模。
问题在于，人手和机器手不是同一个本体。
张凯峰把差距拆成两层。
第一层是视觉上的，画面里是人手。
第二层是动作上的，也更根本。
不管用多先进的动捕，你能拿到的是手的状态，不是动作。
动作和状态之间差了什么。
差了力和触觉的信号。
驱动灵巧手电机需要力矩和关节角。
人手数据里并不直接包含这部分。
力补不上。
于是研究者面对一个两难。
采集方式越贴近人的自然动作，本体差异就越大。
越贴近机器人结构，对操作者的要求就越高。
围绕迈向类人的灵巧操作这个长期目标，团队定了三条主线。
解决以人为中心的数据与遥操作数据之间的本体差异。
解耦运动和交互，用仿真与原子技能重构接触控制。
学跨本体的不变表征，让模型能换机器人换传感器。
UVTA 论文标题页，作者来自上海交大与 BIGAI。
主线一要跳出这个两难。
思路是在采集端就把触觉记下来。
也就是无本体采集。
人戴上传感设备直接操作，不需要机器人在场。
这是前提。
数据采回来之后，还要证明它有用。
做法是把人类演示和少量机器人遥操作放在一起联合训练。
两者映射到共享的视觉触觉动作空间。
模型同时预测未来的动作和触觉信号。
人类数据只作训练监督。
部署时机器人执行的始终是自己的动作。
用张凯峰的话说，是联合建模视觉和触觉的关系，最后再落到动作信号上。
VTPM 把触觉输入转成 token，再接扩散策略出动作。
这套结构里，触觉输入先变成二十维的触觉单元。
视觉走另一路，提取出三百多维的视觉单元。
两路拼成一个统一的交互表示。
再分给动作头和触觉头。
在翻书和拧灯泡这类任务上，平均成功率是 70。
作为对照的系统只有 29。
更值得注意的是那组缩放实验。
固定每个任务 150 条机器人演示。
人类演示从 0 条逐步加到 1000 条。
三个任务的平均成功率从 0 升到 84。
论文说 1000 条时还没看到饱和。
五个任务的成功率，含 FlipPage 与 ToggleSwitch。
另一项工作想再降采集门槛。
它用前臂的表面肌电信号推断手部姿态。
再实时重定向到 22 个自由度的手上。
这样就不用笨重的外骨骼和视觉动捕。
不依赖摄像头，手指被物体挡住也能正常遥操作。
DexEMG 论文标题页，用肌电信号推手部姿态。
但真实世界里还有体量更大的资产。
互联网上有数以万小时计的单目视频。
视频里根本没有记录触觉。
这条路怎么弥合。
他们从单目视频里提出人手和物体的三维轨迹。
再把轨迹导入物理仿真。
仿真引擎靠碰撞体和接触动力学，反过来补上视频里看不见的力学信息。
最后蒸馏成一个以点云和触觉为输入的学生策略。
真机方块抓取拿到 93 的成功率。
论文标题页，Learning Visual-Tactile 从人类视频学操作。
可以看出，主线一把采集重心从逼人适应机器，转成让系统理解人手的手感。
它把一个定性问题，变成了能用曲线回答的定量问题。
但视频里始终没有力。
动作可以重定向，接触却没法凭空生成。
这一环要交给第二条主线。
即使拿到了数据，难点仍集中在接触的那一刻。
既然接触是瓶颈，一个自然的思路是把运动和交互拆开。
接触前的大范围移动更接近运动学问题。
人类视频能提供丰富的先验。
接触后的挤压和滑动是动力学问题。
对误差高度敏感，而这正是视频最缺的信息。
这个思路落在他们公开的分层模型上。
模型把决策分成三层。
最上面是推理脑，由视觉语言模型理解指令拆解任务，频率约 1 Hz。
中间是运动脑，负责运动规划和接触前的粗略控制，约 10 Hz。
最下面是交互脑，在接触阶段用实时触觉反馈调整手指，约 100 Hz。
这层分工像 AI编程 里的调度。
三层架构示意图，System2 约 1 Hz，底层约 100 Hz。
拆开之后，新问题随之而来。
运动和交互之间用什么接口连接。
上层要给底层传什么，底层又该怎么响应。
第一种接口是一块踏板。
研究者先用强化学习训练了一组手内操作的原子技能。
包括保持稳定抓握，也包括让物体绕指定轴旋转。
采集数据时，操作员用外骨骼控制手臂。
需要转苹果时，用脚踩下踏板。
手内旋转就交给底层自动完成。
张凯峰形容这是手脚并用。
效果相当好。
在手内操作试验里，有底层技能辅助的成功率是 89。
直接遥操作只有 34。
系统概述图，标注了 Force and Tactile Feedback 的叠加层。
高质量的削苹果数据由此采到。
到了自主执行阶段，上层模型也能调用这个底层技能。
再配一条专门处理力和触觉的通路，就构成了整套方案。
在削苹果和试管整理这类任务上，平均成功率从基线的 15 提到 34。
削苹果从 0 提到 30，削皮完成度从 8 提到 73。
四个任务的成功率，Apple Peeling 从 0 提到 30%。
在他看来这只是第一步。
将来只要给一些目标点和操作意图，就能驱动底层做出灵巧动作。
接触丰富的那一段交给底层，上层只给意图和粗糙轨迹。
第二种接口是点云。
这条路线自上而下。
先从单目视频重建手与物体的交互过程。
再在仿真里让强化学习策略去跟踪这段参考动作。
视频里缺失的接触力，由物理引擎补全。
仿真因此被叫作触觉补全引擎。
最后蒸馏成一个学生策略，部署到真机上。
训练框架，从 Stage1 到强化学习再到蒸馏。
同一个思路也出现在其他团队的工作里。
伯克利两个团队从日常人类视频重建手物交互，再重定向成灵巧手动作。
在 655 条野外视频上，重定向成功率从 25 提到 71。
还在真机上完成了搅拌和倾倒等十项任务。
另一个方案把思路推到生成式视频。
这步更远。
它用扩散视频模型，按首帧和语言指令生成手物交互。
再用双目深度和接触感知优化，从像素里解出三维轨迹。
生成视频难免有物理幻觉。
团队用带接触和抬升奖励的跟踪式强化学习，在仿真里把想象对齐成稳定的控制策略。
2500 段生成视频里筛出约 2000 条高质量轨迹。
仿真里落地超过 1500 段策略。
最后蒸馏出单一控制器，不用重训就能做抓取和推拉。
GALATEA 论文标题页，作者来自伯克利。
第三种接口是隐空间。
他觉得自上而下未必是终局。
另一条路是自下而上。
先在仿真里训练大量原子技能，再把它们蒸馏进统一框架。
这个框架就是最下面那层。
具体实现来自他们自己的团队。
研究者先在 8 个不同尺寸的球体上分别训练手内重定向的专家策略。
再蒸馏进一个以触觉为条件的隐空间控制器。
下游任务不必从零学。
只要冻结这个先验，在隐空间里学残差动作。
复杂物体多任务里，直接用原始动作训练的成功率只有 1。
这套先验能到 70。
仿真抓取里，部分物体从不足 1 提到 97。
TacBPM 论文标题页，作者全部来自 Sharpa。
这个先验还能较快适配新物体和新本体。
斯坦福两个团队的工作与这条路呼应。
一项训练了以物体为中心的仿真策略。
不用为每种工具重新训练，就能零样本完成六类工具和二十四项任务。
比重定向方法提升 37，入选了 RSS 2026 的口头报告。
另一项先让手在仿真里自由玩耍。
这一步与任务无关。
之后再微调到精密装配。
样本效率比从零训练高 33 倍。
在 0.5 毫米间隙的插入任务上拿到 60 的成功率。
仿真 demo 画面，左上角标着 1x Speed。
他把前一项归为自上而下，把后一项归为自下而上。
两条路线和自家的探索在同一张图上互相补位。
踏板和点云，还有隐空间，三种接口对应三种分工。
但方向是一致的。
把接触这一层从上层模型里剥出来，交给一个高频且带触觉的底层。
主线三关心的是数据怎么用。
现在的策略往往和特定机器人绑定。
甚至和特定的手与传感器绑定。
硬件一换，数据要重采，模型要重训。
他给了两个理由。
从模型看，好的基座模型应该学到好的表征。
跨本体的数据能帮模型学到面向操作且与本体无关的表征。
从应用看，下游机器人形态各异，真正的泛化必须面向不同本体。
那么什么信息最适合承载这种表征。
答案很直接。
他们的答案是触觉。
人用手拿杯子和用机械手拿杯子，本体不同。
但用了多大力，这个信息与人手还是机械手无关。
这类信息的主要来源就是触觉。
所以触觉可以当跨本体学习的锚点。
FTP-1 论文标题页，跨 Tactile Sensors 的通用策略。
最直接的验证是一项跨触觉传感器的通用触觉策略。
难点在于传感器的异构性。
有的输出图像，有的输出阵列，有的直接输出力。
做法是把这些不同形式的输入映射到同一个隐空间。
再由一个统一的注意力网络处理。
预训练数据约 3000 小时，来自 21 种触觉传感器。
触觉信号汇成 Unified Tactile Tokens，再交给专家网络。
结果显示，在预训练见过的配置上提升了 17.2 个百分点。
在两种没见过的配置上，成功率提升 31。
为了确认增益确实来自触觉，他们还训了一个不含触觉数据的对照模型。
新模型在迁移任务上赢过它。
这说明大规模触觉预训练确实学到了可复用的表征。
另一条思路不显式处理人手与机器手的差距。
它直接用第一视角人类数据，再用成对的人机数据做中期训练。
让模型自己去消化差异。
一项由英伟达和伯克利等机构合作完成的工作就是这样。
它用两万小时第一视角视频预训练。
再用约 50 小时人类数据和 4 小时机器人数据做对齐。
在 22 自由度的手上，平均成功率比无预训练基线高 54。
选这只手的一个重要原因，是它与人手一比一的尺寸。
8 倍速演示，画面上是 00:06 的计时。
另一项工作把触觉引进了这个框架。
研究者构建了 100 小时的触觉同步遥操作数据集。
覆盖 22 种运动原语和 200 多种日常物体。
结构上是一个变频率的混合专家。
动作专家以约 5 Hz 生成动作。
触觉专家以约 20 Hz 根据触觉信号实时修正。
在削皮和擦拭这类十二个任务上，平均成功率 65。
比最强基线高约 30 个百分点。
真机四视角画面，任务是 Sort Mahjong。
把这些工作放在一起看，是一条清晰的研究接力。
先在同一个平台上验证人类数据的规模效应。
再在同一平台引入触觉，把成功率提高约 30 个百分点。
接着又把前一项当基线，继续推进人类触觉数据的利用。
不同团队建立在同一个硬件平台上，结果才可能互相比较并逐层累积。
当然，触觉是否必要，学界并非没有争议。
有研究认为视觉足以推断接触。
例如直接从图像生成指尖触觉信号，也确实提升了纯视觉策略的表现。
对此他给了两点回应。
第一是奇异解问题。
轻触和用力按压在画面上几乎没有区别。
第二是遮挡。
手指包住物体时，视觉信息大量丢失。
触觉往往是少数还能用的信号。
两种路线未必互斥。
从视觉生成触觉能降低采集成本。
而真实的触觉信号，可能决定接触阶段能做到多精细。
他们对触觉的理解也经历了几轮演进。
早期关注的是模态竞争。
如果一个任务靠视觉就能完成大半，模型很容易依赖视觉而忽视触觉。
那一阶段的做法是把触觉特征锚定到手部运动学坐标系。
让策略能推断物体在手里的几何位置。
在盲插和灯泡安装这类亚毫米任务上，成功率最高提升 30 个百分点。
后来团队认识到，触觉更像底层的反射弧。
应该放在最底层做高频调整。
另有一项工作从仿真端补齐这一环。
它把仿真与真实的触觉信号统一到同一种几何表示。
仅在仿真里训练的手内旋转策略，可以零样本迁到真机。
Tacmap 论文标题页，做的是仿真到真机的触觉对齐。
回头看，三条主线指向同一个位置。
在他描绘的架构里，触觉和本体感知放在最底层。
视觉与语言这些承载语义的模态放在上面两层。
主线一二解决接触数据从哪里来。
主线三解决接触信息怎么跨本体复用。
两边都在给底层提供燃料。
他说目前是围绕数据在做，未来这些路线会逐渐合并。
合并的逻辑对应一个飞轮。
好的硬件带来好的数据。
好的数据训练出好的模型。
真实部署再反过来给硬件和数据提供反馈。
硬件在其中扮演研究平台的角色。
他把这只手的设计归结为仿生。
与人手同构，一比一尺寸，22 个自由度。
前文提到的几项研究，都把这几点当作前提。
从研究者角度还有两点。
一是可靠性，不能一小时就坏，坏了修两周。
二是标定和一致性做得好，仿真与真机差距小。
Wave 灵巧手，22DoF，与人手 1:1 尺寸。
今年 9 月底的展会上，他们发布了整机、新一代灵巧手和触觉反馈手套。
那是一款 22 自由度的外骨骼手套。
指尖可提供振动触觉反馈，面向的正是遥操作与数据采集。
D01 整机，两条 7DoF 手臂加全身触觉皮肤。
真实部署方面，他们和一家连锁冰淇淋品牌做了间机器人门店。
8 月 29 日在上海吴江路开业。
机器人要独立完成从点单到交付的 55 步流程。
据报道，其中 98 的步骤涉及触觉。
这类长时间连续运行的真实场景，正是飞轮里反馈的来源。
灵巧操作距离真正可用还有多远。
他的判断相对乐观。
单刚体的类人操作有望在三到六个月内突破。
整体来看，可能两年左右这些问题都能解决。
这个判断背后还有一个变量。
通用大模型的空间推理能力正在快速提升。
原本以为要靠机器人数据才能解决的问题，正在被不用机器人数据的模型攻克。
上面两层会不会最终被大模型公司吸收。
他并不回避。
他的回答是把底层和模型本身做好，就能适应新潮流。
上层的推理和规划，可能会越来越多由通用模型承担。
但手指与物体接触之后的那一毫米，需要高频触觉反馈。
也需要与本体紧密耦合的控制。
这一层，可能是分层架构里最难被通用模型替代的部分。
过去一年，越来越多团队把触觉写进模型架构。
这条路线正在从一家公司的判断，变成学界的共同议题。
