SAFI 让机器人被接管时安全停手,违规完成率降至1.3%
DM2-ND · hf · 2026-11-21
- 问题:VLA 模型即使能从初始状态拒绝任务,中途接管时仍可能继续完成违规任务;即使任务未完成,机器人也可能把手持物体(如酒瓶)摔落——「没做完」不等于「安全」。
- 方法:提出 State-Aware Fallback Imitation (SAFI),分两步:①为违规任务演示构造「保持」目标(机械臂静止、夹爪保持握持);②与保留任务的原始动作联合训练,教会模型在执行中途给出明确的替代响应。
- 结果:基于 OpenVLA-OFT 在 LIBERO/BadLIBERO 上评测,SAFI 将接管后的违规任务总成功率压到 1.3%,无物理事故、无动作饱和,同时保留任务的成功率基本不受影响;对比 RMU、Refusal FT 等基线,只有 SAFI 做到「松手但不摔物」。
「具身」频道最新
- 开源人形机器人 Asimov 第 389 天:轮式版本开工实测 — freelerobot · 2026-11-21
- USC 让宇树 G1 机器人组队协作,2 台训练可扩展到 10 台 — CyberRobooo · 2026-11-21
- 博主晒 Tesla 全自动驾驶房车概念图,期待 FSD 旅居车 — PaulYacoubian · 2026-11-21
- PhysLDM:2.48 毫米精度重构可变形体轨迹,token 压缩最高 78 倍 — jiqizhixin · 2026-11-21
- 开源自动驾驶控制入门书第 4 章发布:对比三种路径跟踪算法 — 4310sy · 2026-11-21
- 伯克利开源 Specialist:3D 打印手夹采集数据真机直接跑 — SongShuran · 2026-11-21