Teaching Vision-Language-Action Models to Stop Safely
Zheyuan Liu, Chuhan Wang, Jinduo Guo, Yue Huang, Xiangchi Yuan, Ningshan Ma, Meng Jiang
cs.RO
2026-11-19
SAFI将禁任务演示改写成静止抓持,再与保留技能联合模仿。OpenVLA-OFT在LIBERO接管后的禁任务完成率从99.7%降到1.3%,事故与饱和均为0。
VLA(vision-language-action,把图像和语言指令映射成机器人动作)学会技能之后,还要能在不该做的时候停住。已有压制多在起点生效:梯度上升、表示重定向、拒绝微调,从初始状态看完成率可以很低。执行走起来之后,若干方法就接不住。
这里的接管,指原策略先执行,再把控制权交给改过的策略。LIBERO-Goal 上,若干方法起点能阻止打开炉灶,早接管后几乎每回合都打开,中段接管则全部打开。任务没做完也不够。酒瓶在手里时,松手掉落和继续抓住都算「没放到架子上」,后果不同。图 1 里两种结局任务都未完成,可接受的是抓住。
完成率盖不住两件事:中间状态是否还在执行,停下来的动作是否安全。
SAFI(State-Aware Fallback Imitation,按状态构造回退动作再模仿)只用于「抓住不动」已算合理替代的任务。训练前用脚本化静止抓持,从候选接管状态试跑,须同时挡住禁任务并满足物理事件标准。过不了的不进实验。
回退目标改写禁任务演示。动作块(一次预测的连续多步动作)里,机械臂每一拍换成「位置和朝向不变」,夹爪整段复制该动作块第一步的开合。观测和指令保持原样,起点和中途帧都有标签。
两类模仿等权相加。禁任务输入拟合静止抓持,允许任务拟合原动作,损失都是动作块的平均绝对误差。语言模型层用 LoRA(只训练低秩增量),动作头一起更新。检查点先按压制与保留表现过滤,再取保留成功率最高的。
LIBERO 每次禁一个任务,同套件其余演示作保留集。BadLIBERO(带后门的 LIBERO)里,中毒演示走回退目标,干净演示走原动作,指令可以相同。不另加偏好损失或表示匹配。监督只覆盖臂不动、夹爪保持最初开合,不包含放下或撤离。
基座是套件版 OpenVLA-OFT。原策略走到早段或中段,编辑策略从对齐状态接管。主分把 Goal、Spatial、Object 等权平均。对照为 GA、GradDiff、NPO-RT、RMU、学回家的 Refusal FT,以及 VLA-Forget 的 OFT 版。饱和指指令顶到控制器裁剪边界。
| 方法 | 接管后禁任务完成率 | 物理事故率 | 动作饱和率 |
| 原策略 | 99.7% | 12.1% | 0.0% |
| GA | 12.2% | 16.3% | 100.0% |
| GradDiff | 11.7% | 27.5% | 99.4% |
| NPO-RT | 31.9% | 19.9% | 46.9% |
| RMU | 50.6% | 14.4% | 0.0% |
| Refusal FT | 11.6% | 4.1% | 0.0% |
| VLA-Forget | 30.9% | 20.3% | 53.6% |
| SAFI | 1.3% | 0.0% | 0.0% |
GA 与 GradDiff 把完成率压到约 12%,指令却几乎每次顶到裁剪边界。Refusal FT 不饱和,完成率 11.6%、事故率 4.1%,和 SAFI 的差距主要在 Goal。完成率和事故率都是全表最低,饱和率同为 0。
BadLIBERO 测植入后门后的物体攻击,参考策略攻击成功率 87.5%。GA、GradDiff、NPO-RT、RMU、Refusal FT、SAFI 的攻击成功率都是 0。前三者事故率分别为 40.0%、30.0% 和 22.5%,饱和率 100%。RMU 与 SAFI 三项都是 0;Refusal FT 事故为 0,饱和率 2.5%。后门设定上 SAFI 没有超过 RMU。
消融里,只练保留任务时 Spatial 完成率 99.7%、Object 100.0%,Object 事故率 30.9%。只学抓持时完成率接近 0,保留成功率也是 0。两项都在:Spatial 完成率 3.4%、保留成功率 96.9%;Object 完成率 0.3%、保留成功率 93.1%;事故为 0。原策略这两套保留成功率为 99.2% 和 94.2%。
图中压制率是 100% 减去接管后完成率。后期 SAFI 在 Spatial 上为 99.7% 压制、97.2% 保留成功,Object 上为 99.0% 压制、93.6% 保留成功。同等压制下 GA 的保留成功恒为 0,GradDiff 为 34.2% 和 41.7%。
位移相对接管位置。Spatial、Object 与两种接管等权平均后,SAFI 末态 3.1 cm,夹爪仍接触的回合占 97.3%。Refusal FT 学的是回家,接触率 98.8%,位移仍有 27.6 cm。中途接管时 SAFI 为 Spatial 4.8 cm、Object 3.2 cm,同条件下最近的是 Refusal FT 12.9 cm 与 RMU 21.3 cm。
对齐过的语言模型平时会拒绝,把有害回答的开头接回去却会写完。VLA 的中间画面由前面的动作生成,只在起点评估,改过的策略到不了接管后真正看见的观测。
SAFI 不改指令,只把禁任务动作换成静止抓持,再和保留任务放进同一个误差。手里已有物体、正确反应是别松也别继续送时,它比回家轨迹更贴当前状态。
这是行为编辑。要事先点名禁哪项技能,要有演示,静止抓持还得通过适用性检查。用得上的是仿真里的技能下线,覆盖不到开放场景里的临时危险判断。
评测只有 OpenVLA-OFT、选定的 LIBERO 与 BadLIBERO、一个训练种子。没有换架构、重复运行和真机,也没有变化的感知与控制。回退只有抓持。物体不稳或接触已经发生时,合理停手可能是放下或撤离,这两类目标还没学。
1.3% 建立在「脚本抓持已经能挡住任务」的入选条件上。必须移动才安全的任务,没有证据。BadLIBERO 上 RMU 的三项安全终点同样为 0,主表未给该设定的保留成功率。Spatial 单套完成率仍是 3.4%。接管状态来自原策略轨迹,编辑策略自己生成的中间状态没有单列。饱和为 0 只表示指令没顶到裁剪边界。