不重训不加数据,一句人话把机器人动作掰回来

具身模型这两年跑得很快。

感知在涨,决策在涨,手上的操作也在涨。

可一进真实环境就露怯。

没见过的物体姿态。地板上一点扰动。长动作里攒下的误差。

这些都能让动作偏。

偏一点,任务就砸了。

现在的解法很笨。

出问题就重新采示教数据,再把大模型微调重训一遍。

时间和算力都很贵。

极智嘉具身智能换了个方向。

他们在 Gravity 框架下做了个模型,叫 Gravity Control。

核心是一条:不改原始策略,不加一条示教数据。

靠机制可解释性,把模型内部的动作调控机制挖出来。

然后在推理阶段直接改相关的隐特征。

这批AI工具的路子,跟重新训一遍完全不是一回事。

官方给的数是这样的。

分布外复杂操作的整体成功率,从 17.5% 抬到 87.5%。

其中一项设置,从 5% 直接飙到 95%。

但这里有个前置问题得先说清。

模型内部有一大堆表征。

能读出语义的,不代表它能管住动作。

学界长期有个默认。

一个表征能解码出概念,它就一定在指导机器人。

极智嘉的结论是,相关性不等于因果。

不少语言层表征很敏感。

对物体敏感。对指令也敏感。

但本质只是对提示词和画面的被动描述。

真正管动作的是另一层。夹爪开合归它。末端姿态归它。位移速度也归它。

这层行话叫 MotorLayer。位置在动作生成链路的动作专家深层。

三段动作指令

三段动作指令 action1 到 action3,最右一列是动作通道

所以他们的第一刀,砍在两句话之间。

一句叫有概念,一句叫有因果。

团队先定了条概念属性链。

顺序是保真。然后运动对齐。接着泛化。再问因果可控。最后过一道闭环安全。

实验里,语言层特征往往在运动对齐那一步就断了。

只有动作专家层能整条链走通。

语言层与动作专家层对照

语言层 LM 与动作专家层 EX 在同一张图里对照,中间列是 motor-aligned 与 causal

他们干脆把模型内部拆开,做了一个 Gravity Control。

Gravity Control 框架总览

框架总览:Hidden 进来,过 Sparse Autoencoder,再走 Concept Steering

第一步是冻住原始模型的骨干。

在残差流里挂上 Top-k SAE 这类模块。

把高维的隐层激活拆成稀疏特征。

第二步是定向干预。

把标好语义的特征放大,或者压制。

盯着几个动作通道看反应。位置一路。旋转一路。夹爪也一路。

干预最怕顺带把别的自由度也搅乱。

所以他们加了一道特异性评估,叫特异性比值。

筛的是三个条件。方向要一致。剂量响应要单调。影响还得集中。

这一套下来,分析就闭环了。

从读懂,到干预,再到控制。

不同层插入 SAE 的可用特征比例

π0.5 与 OpenVLA-OFT 在不同层插入 SAE 后,可用特征数量的比例差别

读懂了,还得让人能用大白话说得上话。

这才是更工程的那一步。

传统端到端模型只吃宏观指令,比如把面包放进盘子里。

一旦执行中偏了几毫米,上层那句话就传不下去。

抓多深。手腕翻多少度。夹爪开多大。这些精细参数它管不到。

语言指令到关节角度之间,隔着一整层没说清的东西。

人能说清的是意图。模型要的是那几个旋钮。

中间这段落差,就是纠偏难的地方。

Gravity Control 把这条线接上了,形式上就是一句AI对话。

机器人偏了。操作员说一句,下夹取时抓得更深一点。再低一点。

外面的规划器不用重排轨迹,只去概念表里检索特征词。

然后对模型内部的激活做在线 steering。

SAE in loop 在线纠偏

冻结主干,SAE in loop,一句自然语言 steering 就把动作改了

跟重规划整条轨迹不一样。

这条路改的是模型已经学会的原始动作表征。

旁边还有个闭环闸门。它限制最大干预剂量。避免动作整体发散。

搬面包时的 steering 剂量

搬面包时那句提示被映射成 steering 剂量,同时卡住不超出原始训练范围

关键不在于机器人听懂了一句话。

关键在于纠偏意图能低成本落到模型内部。还能验证。还能约束。

这套思路跟AI编程里的运行时调试有点像。

改的是跑起来的内部状态,不是重新编一遍。

这套东西不绑某一种具身策略架构。

π0.5 能接,OpenVLA-OFT 也能接。

仿真基准 LIBERO 和真机平台都评过。

他们还专门验了命名和控制的差别。

把多个策略汇总起来看。有些特征名字挺靠谱。最后过不了因果干预那一关。

反过来也一样。

能不能当手柄,看的是干预有没有实际影响。跟名字好不好听没关系。

动作侧能验证、又跟运动对齐的特征,整体比语言侧多得多。

命名与因果控制脱节

命名与因果控制并不一致,图上写着 Naming and control come apart

真机上的分布外任务,这套流程跑出了结果。

横放面包这类原本失败的任务。整体成功率从 17.5% 到 87.5%。

单看横放面包一项,从 5% 到了 95%。

自然语言在线纠偏工作流

左图 (b) Place bread,右图 (c) Load bread,合起来是用自然语言纠偏真机的完整流程

这个结果的含义得说清。

它不是把动作往某个方向硬推。

前提是基础策略本身已经有干活的能力。

这套模型干的是零微调的任务挽救。同时把对原策略的副作用按住。

往后一步,是让它别只当个纠错按钮。

它可以挂到更上一层的智能体,或者原生系统上。

由上层持续判断任务状态,看动作偏没偏。

然后自动跑完整条链。先发现。再诊断。最后纠正。

不用人一直当监督员。

系统在错误攒大之前,就自己叫一次纠偏。

再往后,一次成功的纠偏也不用白费。

系统可以记下当时的任务阶段。记下场景和状态。

记下被调用的是哪个手柄。剂量多少。结果如何。

把成功的纠偏沉淀成可复用的技能。

下次碰到相似状态,先检索旧经验。

这条路从纠错走到技能,再走到自我进化。

对具身系统来说,少一次人工介入,就多一分自己往前走的可能。

眼下这套东西还有边界。

基础策略本身不会的动作,它纠不出来。

它救的是偏,不是不会。

这也是为什么他们把力气花在运行时,而不是再训一个大模型。

少一次重训,就少几天等待。

对产线上的机器来说,停一天的代价比什么都实在。

偏了能救回来,比一开始就不偏更值钱。

这套路子能不能铺开,还得看概念表建得够不够细。

细到能说清每一处几何偏差,才谈得上通用。