AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics
Xinxin Liu, Bingxin Xu, Wenrui Bao, Ming Li, Wentao Bao, Chen Chen, Yuzhang Shang
cs.RO
2026-10-21
SFT 加多轮 RL 后训练 9B 机器人规划器,LIBERO-PRO 成功率从 18.1% 升至 71.0%,逼近带记忆的 Codex,VLA 等执行组件全程冻结。
Agentic robotics 系统的常见结构是 LLM planner 加 robot harness:planner 决定下一步,harness 把决策变成机器人动作。近期的改进集中在 harness 一侧,更好的工具接口、外部记忆,planner 这个位置则默认交给 Codex、Claude Code 这类闭源强模型,模型本身从没被训练过。
Coding agent 那条线早换了打法,SFT 加 RL 的后训练把模型自身的 agent 能力刷了上去。这篇问的问题很直接:同一套后训练搬到机器人 planner 上还灵不灵。障碍也具体:不同 harness 执行机制不统一,有的调 VLA 技能,有的写控制代码,反馈格式和成功判定各不相同,没法用一条底层动作接口统一训练。
训练分两段,SFT 打底、multi-turn RL 收尾,全程只更新 planner:Qwen3.5-9B 是学生,Qwen3.8-27B 当教师,VLA、运动规划、感知模块全部冻结。
SFT 的麻烦在于教师带外部记忆、学生没有。框架先标记依赖记忆的回答(关键词命中、连续 8 个词与记忆文本重复、数字只在记忆结果里出现过),改写后交 judge 审核,通过的才作为训练目标。这一步分量不轻:直接丢弃这类回答只有 55.2%,改写加过滤在相近步数下到 60.2%,选中的 checkpoint 是 65.1%。
RL 的核心设计是把共享接口放在 model-call 边界,不在底层动作边界。一个 proxy 记录每次模型调用的 context、token 和 logprobs;每个 harness 配一个无参数 adapter,用任务、初始状态、尝试序号、reward、有效性五个字段把记录和 episode 结果对上。VLA skill 调用和控制代码生成两种执行机制由此共用一条 RL 管线,harness 的工具、prompt、控制回路都不用改。reward 只有任务最终成败,无中间奖励、无长度惩罚,advantage 用 RLOO 计算,基础设施失败的 episode 直接排除而非记零分。每轮收 64 组任务各 6 次尝试共 384 个 episode,到报告的 checkpoint 共 2,304 个。
数据切分干净:LIBERO 每个任务 50 个初始状态,0 号按协议建记忆,1-10 评测,11-44 收教师轨迹和 RL rollout,45-49 只做验证,训练与评测无泄漏。
LIBERO-PRO 主结果,800 个 episode:
| 配置 | 成功率 |
| 9B 原版,无记忆 | 18.1% |
| 9B 原版 + 外部记忆 | 18.9% |
| 9B + SFT | 65.1% |
| 9B + SFT + RL,无记忆 | 71.0% |
| 27B 原版,无记忆 | 57.9% |
| 27B + 记忆(教师) | 74.0% |
| Codex(GPT-5.5)+ 记忆 | 72.1% |
| Claude Code(Opus 4.7)+ 记忆 | 82.4% |
| 底层 VLA(πRLinf)单独跑 | 50.0% |
增益的分配很清楚:SFT 贡献 47 个百分点,RL 再加 5.9 个。配对检验里 RL 解出 121 个 SFT 失败的 episode、输掉 74 个(sign test,p=0.001)。给未训练的 9B 挂上外部记忆,成功率只从 18.1% 涨到 18.9%。记忆救不了弱 planner。
同一组 checkpoint 直接测 LIBERO-Plus 的 10,030 个扰动配置,零额外训练:19.2% 到 66.7% 再到 72.2%,七个扰动类别全部提升;机器人初始状态扰动上拿到 75.2%,对比方法里最好的是 46.2%。
第二个 harness CaP-X,planner 写控制代码:9B 从 2.7% 到 SFT 后 18.7%、RL 后 28.5%,超过 27B 教师自己的 20.3%。
这篇把 coding agent 的后训练范式在机器人侧整段跑通,而且做成了框架级:adapter 只对齐记录和结果,新 harness 接进来不用动执行组件。对做机器人的团队,planner 位置可以从按 token 计费的闭源模型换成本地 9B,执行栈原封不动。CaP-X 上学生超过 27B 教师(28.5% 对 20.3%)也有合理解释:RL 不依赖教师数据,教师没解出的任务它可以自己探索。
同时要摆正位置:Harness VLA 那条线改 harness 和记忆,这条线改模型,两条叠加的效果论文没测,这是最直接的后续问题。
论文没有单列 limitations,承认点散在正文。与带记忆 planner 的对比被明确说成「系统级参照」:教师轨迹本身是带记忆跑出来的,SFT 的大头增益里有多少来自蒸馏记忆内容、多少来自纯规划能力,没有拆开,71.0% 对 72.1% 的逼近因此要打折扣。CaP-X 上绝对值仍低,Goal 和 Spatial 两个 suite 几乎没动,因为教师只在 26/60 个任务上有成功轨迹(Goal 覆盖 5/20,Spatial 覆盖 2/20),SFT 缺料,RL 也拉不动。全部实验在 LIBERO 仿真族内,没有真机结果。与 Claude Code(Opus 4.7)加记忆的 82.4% 还差 11 个点以上。RL 只跑了 2,304 个 episode,更大规模下还能不能抬没有验证。代码和 checkpoint 在论文里是「will release」,投稿时还没放出。