ForceHarness: Turning Force into Action and Physics for Frozen Frontier Models
Ke Sun, Kevin Yuchen Ma, Yike Zhang, Yanzhe Chen, Mike Zheng Shou
cs.RO
2026-11-16
底层原语自行把接触力闭环到事件,再把力迹译成带不确定度的物理量,无腕力计真机上 Astra 从 3.3% 升到 90%。
看图就能零样本指挥机械臂,但拧螺丝、插 USB、按重量分瓶取决于图像里没有的接触力。要把力交给只开 API、权重冻住的模型,有两道缺口:接触比一次决策快得多,闭环不能等模型;模型也没学过读原始六维力。
力觉策略和视觉-语言-动作模型(VLA)把腕力当网络输入,每项任务都要示教并改权重。现有 harness(包住冻结模型的工具层)多半把原始读数丢回去,或让模型自己写力控代码。
ForceHarness 来自新加坡国立大学 Show Lab。三层放在冻结模型和机器人之间,不示教、不改权重。模型每轮一次工具调用:原语自己把力闭环到接触事件,物理量再送回来。
底层估计环境作用在手上的力。有腕部传感器就直接读;没有,就用关节外力矩对法兰雅可比做最小二乘,解出扳手,去零并翻符号。零点随姿态漂,滤波去不掉。空载原语前在静止处去皮(把当前读数当成零点),落定后再读一小段窗口,只比同一回合内的变化。真机是无腕力计的 Franka FR3,阻抗控制器不动。阻抗把目标超前量当成弹簧,领得越前力越大,超前上限封住最大力。
中层是 12 个自终止力原语,加上移动、抓取、定位约 10 个工具,分五组:建立接触、保持力、找孔落座、带载转动、测量。维持目标力时走导纳,把力误差积成目标速度,内层弹簧才出力。原语停在接触、失速、阻力下跌或力帽,不跑时钟。模型选方向和力度,何时停由原语决定。固定护栏限制力与速度。search 以约 1 N 沿螺线压着找孔,反力一降就改往下压,返回进给和有没有落进去。
顶层不做任务判决。平均和最小二乘把力迹收成质量、摩擦、接触高度、刚度和插入量,并带不确定度。质量取静止时的竖直力,摩擦取滑动段的切向力比法向力。够不够留给模型。
真机六项、每项 10 次,操作员按终态打分。GPT-6 Astra 经 Codex CLI、中等推理力度,无力 2/60(3.3%),ForceHarness 为 54/60(90.0%),六项 Fisher 精确检验均 p < 0.01。同一提示词下 GPT-6.1 Sol 为 47/60。
| 任务 | Astra 无力 | Astra + ForceHarness | Sol + ForceHarness |
| 擦白板 | 1/10 | 8/10 | 6/10 |
| 拧螺丝 | 0/10 | 9/10 | 7/10 |
| 削茄子 | 1/10 | 9/10 | 9/10 |
| 插 USB | 0/10 | 8/10 | 7/10 |
| 按重量分瓶 | 0/10 | 10/10 | 8/10 |
| 分辨软硬 | 0/10 | 10/10 | 10/10 |
分瓶和软硬在 RGB-D 里没有线索,无力都是 0/10。绝对克数会漂,回合内的轻重顺序可靠,Astra 两项都是 10/10。四个接触任务的深度大约只到 1 到 2 cm,纯位置 40 次只成 2 次。白板 8 N 擦完还有墨,就改到 10 N;拧螺丝时侧向力升高,就原地松开;茄子皮走出 51 mm、平均力 2.77 N,就维持 6 N。
ForceBench 八任务、每任务 10 个种子,Astra 从 70.0% 到 87.5%,Sol 同为 87.5%,Claude Fable 5.2 为 75.0%。文中引用的最强训练结果是 π0.5 + Prompt Fusion 的 35.31%,约 200 条示教。统计上分开的主要是 Drawer Pull,从 0/10 到 10/10。
HiddenPhys 是新建的 MuJoCo 七任务,每集藏起质量、质心、桌高、孔位、闩角或解锁力,由代码查终态。Astra 与 Fable 带力都是 135/140,手柄损伤 0;手写专家 136/140,损伤 1。无力时 Astra 87/140(损伤 17),Fable 96/140(损伤 11)。约 200 条示教的 Diffusion Policy、π0.5、ForceVLA 在 65/140 到 83/140 之间,损伤 13 到 29 次,加腕力并不稳定变好。隐藏范围一移、只改指令,四个任务共 80 次上 Astra 与 Fable 相对下降约 8% 和 5%,到 69/80 和 71/80,专家 68/80。Astra 每回合成本降 45%。
消融只在仿真。只回报事件、不给力数值时,较小的 GPT-5.x 从 0.18 升到 0.54,Sol 从 0.63 到 0.77,小模型的 Lock 损伤从 25 次里的 22 次降到 3 次。判断握持负载时,Sol 对力曲线、原始数和物理量都在 0.87 到 0.91。小模型看曲线只有 0.56,原始数的判定从 0.57 到 0.69;带不确定度的物理量把判定抬到 0.85(相对原始数,McNemar p = 0.023),成功率 0.70。一次写完的程序从 23% 到 77%,每步再问模型则到 91%。
接触比 API 快。调力留在原语里,质量、摩擦和进给留在返回值里,冻结模型不必改权重,也能在没有腕力计的臂上做这些任务。
HiddenPhys 上对专家是 135 对 136,打平。小模型的对照更干净:原始样本几乎抬不动判定,物理量才会。
论文写了三条。调用之间要等数秒,做不了边接触边改的配合;原语菜单固定,新的运动律写不进去;消融只在仿真。
ForceBench 的无力对照已经 70%,指令含示教会暴露的事实。10 个种子里 8 个调过工具和阈值,Stove Press 与 Nut Thread 初跑后改过。水龙头、炉灶、抽屉的公开评测漏了松开和间隙。训练数字引自原论文,评的是 200 次,不是这 10 次。其余任务在这 10 次里分不开。
HiddenPhys 让冻结模型读带噪声的位姿文本,学习策略能看相机,Peg 的孔在画面里可见。Peg 仍短,Astra 15/20,专家 18/20。真机每项 10 次,操作员标注,除软硬外指令带步骤。关节力矩保住回合内的相对顺序,绝对克数站不住。一次写完程序的对照只调过这套 harness。90% 是这六项走通了。