RoboCoach: World Models as Active Coaches for Compositional Robot Skills
Jiajun Liu, Yifan Chen, Yichao Liu, Jiayi Zhang, Ruoqu Chen, Shaoxuan Xie, Guocai Yao, Mengdi Xu, Sen Cui, Changshui Zhang
cs.RO, cs.AI
2026-09-30
RoboCoach 让世界模型先想象执行、定位最先失败的字任务再定向采数据,真机仅补 150 条演示,Franka 成功率 13.3% 升到 75.0%。
泡茶、摆桌这类长程操作任务由一串可复用的原子技能拼接而成,每步技能都会改变下一步面对的状态,一个局部执行错误会级联成整任务失败。通常的改进路径是多收端到端演示,但物理机器人上每条轨迹都要花采集人力、设备时间和环境重置,而技能组合方式是个盖不完的长尾。问题于是变得具体:下一条演示很贵,它该教哪个技能、又该落到策略的哪个模块上?
零件此前都在:通用 VLA 管执行,主动模仿学习管挑数据,world model 能做想象 rollout,模块化策略能分块更新。缺的是把它们串起来的那根线:预测出的失败要变成一份具体的数据请求,数据要送到与失败对应的那个策略组件上。
RoboCoach 把辅导过程组织成 Route–Imagine–Diagnose–Improve(RIDI)循环:
设计上的关键是共享与选择的搭配:预测是共享的,一个 CoachWorld 服务所有任务和两种机型;更新是选择性的,演示只落到失败的那个专家。「教什么」和「谁去学」被绑在同一个单位上,这是后面增益的来源。
先看世界模型配不配当裁判。22 个冻结的任务–策略对上,想象内成功率与真实部署成功率的 Spearman 相关达到 0.840。RoboMeter 在参考视频上阶段切换误差 0.414 秒、结局判定 F1 88.21%,换到 CoachWorld 生成的视频上退到 0.815 秒和 83.84%,仍可用。在 DROID-180 测试集上,CoachWorld 的 LPIPS(0.0996)、FVD(51.71)和指令遵循(0.880)都是对比模型里最好的。
再看辅导收益(整任务成功率,真机,各补 150 条子任务演示):
| 设置 | 方法 | 起点 | 150 条后 |
| Franka | RoboCoach | 13.3% | 75.0% |
| Franka | 均匀采数 + 共享 adapter | 13.3% | 30.0% |
| AgileX | RoboCoach | 40.0% | 83.8% |
| AgileX | 均匀采数 + 共享 adapter | 40.0% | 47.5% |
拆解实验指出了增益的来源(仿真,同数据预算):把定向演示喂给共享 adapter 而非对应专家,LIBERO 上最终成功率只变 +0.8pp,RoboTwin 上反而 −4.8pp;改成更新对应专家,提升变为 +3.4 和 +13.2pp;世界模型定向相对随机选对高 +2.8 和 +12.8pp。做主要贡献的是演示落在对的专家上,数据挑选本身居次。仿真最终成功率 71.2%(LIBERO)和 68.0%(RoboTwin),四个条件里最高。
在 4 条训练和辅导都没见过的 held-out 组合(更长续接、跨任务组合、技能重排)上,RoboCoach 平均 35.0%(各路线 65%、15%、25%、35%),均匀采数加共享 adapter 的基线四条全是 0%。
对做机器人数据采集的团队,这篇打在真瓶颈上:瓶颈不是怎么采,是采什么。先在世界模型里 rollout 找出失败的技能,再专门补这个技能,演示预算花在刀刃上,补好的技能还能跨任务复用。150 条换 75% 这个汇率,给真机数据预算提供了一个可直接对标的锚点。
更有一般意义的点是世界模型的角色变化。多数工作用 world model 生成更多经验,想象出训练数据;RoboCoach 用它分配真实经验,当诊断和调度层。先想象、再决定学什么,这个模式可以迁移到任何数据昂贵的场景。
作者自述的局限有三:操作物体被遮挡或碰撞发生在相机视野外时,预测不可靠;多种子投票只能压制随机波动,压不住世界模型的系统性偏差;专家库由技能语义预先定义,库的自动学习和减少对人工演示的依赖都还是开放问题。
读下来有两处要留神。其一,0.840 是任务级相关,论文没有直接报告 13.3% 到 75.0% 的提升中,想象里判定的失败子任务与真实瓶颈的一致率有多高;若 CoachWorld 对某类技能系统性偏乐观,数据分配就会跑偏。其二,held-out 组合上的 35.0% 绝对值只算中等,跨任务组合那条路线只有 15%,技能重组还远没解决。另外演示仍由人按请求单去采,这里的自动化止步于生成请求。