Recursive Harness Distillation across Agents for Robot Manipulation
Seungyeon Kim, Junhoo Lee, Minkyu Kim, Baekseung Kim, Nojun Kwak
cs.RO, cs.AI, cs.CV, cs.LG
2026-09-27
把强agent操作冻结VLA的干预经验蒸馏成playbook并递归修订。真机成功率从37.3%升至64.0%；仿真轻量agent达66.7%，反超无手册的强模型。
VLA（Vision-Language-Action，看图、读指令、出动作的机器人策略）覆盖面已经够广，执行一偏却经常不知道自己错在哪。现成的做法让语言模型写控制程序，或者把学好的策略当工具来规划、监控、恢复。子目标对了，也不等于知道「这个已经部署的VLA看见当前画面会怎么动、错了该拧哪一处」。
强模型能靠试探摸出该改指令、改注意力、还是直接改动作。论文用GPT-6 Astra。全程挂着跑贵。轻量模型便宜，但不会用干预接口。这里把三边参数全冻住，只把「何时干预、怎么干预、事后看什么」写成外部手册。
RHD（Recursive Harness Distillation，递归套件蒸馏）产出一个harness：干预接口加一本playbook，即用自然语言写的干预手册。VLA、强agent、轻量agent的权重都不动，经验只写进手册。
接口开在冻结VLA计算的三段上：
agent可以只动其中一段，也可以先看候选再决定执不执行。一次决策不一定推进环境。
循环是老师写手册、学生去跑、老师按学生的失败再改。强agent先自己操作VLA，把有效策略写成初始手册P0，仿真里来自Astra的前8条开发rollout。轻量agent拿手册执行。强agent对照双方在同一批开发实例上的干预和结果，改适用条件、干预选择和验收标准。候选手册在开发集上评估，成功率达到强agent自己的经验成功率η才接受；达不到就不更新。
优化目标盯的是轻量agent拿着手册跑出来的成功率。修订必须改善接收方实际走到的历史上的决策，只模仿老师自己的轨迹测不到这个量。这和DAgger一类序列模仿里learner自己滚出来的分布是同一类问题。
仿真用SimplerEnv Bridge的四个WidowX任务：勺子放毛巾、胡萝卜放盘子、叠方块、茄子放篮。策略冻结GR00T-N1.7-SimplerEnv-Bridge。开发与测试各12个初始配置，每个split 48条。轻量agent是GPT-5.6 Luna。测试配置不参与写手册。
| 方法 | 成功率 |
| GR00T单独 | 41.7% |
| Luna + GR00T，无手册 | 43.8% |
| Luna + 初始手册 | 31.3% |
| Luna + 精修手册 | 66.7% |
| Astra + 精修手册 | 79.2% |
只加轻量agent、不给手册，从41.7%到43.8%。第一版手册把Luna打到31.3%。精修之后到66.7%，比自己无手册高22.9个百分点，也超过无手册的Astra。同一本手册给Astra，到79.2%。
消融固定精修手册，每次关掉一个干预口：去掉指令编辑47.9%，去掉注意力编辑64.6%，去掉动作编辑62.5%。指令改写贡献最大。
老师换成Luna自己写、自己改，Luna接收方只有22.9%，低于无手册的43.8%。轻量模型给自己蒸馏会写出有害手册。
真机是7自由度Franka Panda，三个任务：方块入盘、叠方块、按急停按钮。每任务50条遥操作demo微调π0.5后冻结。物体在50cm×50cm工作空间随机摆。每任务25次，共75次。真机手册由Astra从GR00T手册适配到π0.5。
| 方法 | 入盘 | 叠方块 | 按按钮 | 总体 |
| π0.5 | 15/25 | 3/25 | 10/25 | 37.3% |
| Luna + π0.5，无手册 | 0/25 | 0/25 | 0/25 | 0% |
| Luna + 精修手册 | 18/25 | 13/25 | 17/25 | 64.0% |
没手册的Luna在真机上是0%。论文写，它补不上意图交互点和实际运动之间反复出现的空间偏差。
同一测试集上，Luna加手册估计API花费30.03美元，每回合0.63美元；Astra加手册164.61美元，每回合3.43美元，大约5.5倍。手册要求遮挡后重新认物体，并检查OPEN指令是否仍吐出CLOSE。
这是把「经验写成文本、下一个agent接着用」搬到操作机器人上，而且不改VLA参数。已经部署、不能频繁微调的策略，可以用贵模型在开发阶段摸干预，便宜模型带着手册上线。
手册也能回喂强模型，Astra拿到同一本之后到79.2%。沉淀的是这个VLA会怎么错、怎么救。
第一版手册会害人，Luna教Luna更差。这套东西绑在强老师和递归修订上。
论文没有单独的局限节。
开发与测试是同一任务族的不同初始摆放，不是新任务。真机三个短任务、每任务25次，叠方块基线只有3/25，百分比会晃。真机手册经过Astra针对π0.5适配，跨本体、跨策略的零样本迁移没有做。
没有和微调VLA、用RL改策略对照，这26.7个百分点的真机提升值不值得用改参数换，论文没给答案。每回合0.63美元不含写手册的开发成本。接受规则不保证终止。GPT-6 Astra和GPT-5.6 Luna外部能否按同样接口复现是未知数。注意力干预要求能改VLA内部计算，不是所有开源VLA都把这一层露出来。