Scaling Online Exploration for Robot Agents
Runhan Huang, Xiangcheng Zhang, Haoyu Chen, Yitong Li, Yen-Jen Wang, Bohan Lyu, Haotian Ye, Chuye Hong, Yixuan Wang, Chloe Su, Haoyu Xiong, Yangzhen Wu, Enze Xie, Travis Manderson, Stefano Ermon, Pieter Abbeel, Antonio Torralba, Dawn Song, Weirui Ye, Yilun Du
cs.RO
2026-10-16
冻结 LLM 编码 agent 靠在线探索自学机器人技能并编译成独立程序，五个仿真基准平均超最强基线 37.4 分，真机零示范完成精密与长程操作。
机器人学习这几年在复刻语言模型的配方：堆遥操作数据、堆模型容量，训出 VLA 和 world action model。代价是每换一个本体或任务都要先给人采一套遥操作语料，而且策略被示范分布框死，换个布局就崩。LIBERO-Pro 的位置扰动给了现成量化：OpenVLA、π0、X-VLA 在任何子套件上成功率不超过 2%,π0.5 最多 38%。
问题于是变成：机器人能不能像编码 agent 熟悉陌生代码库那样，不靠人类示范，靠在线试错自己学出技能、持续自我改进。RAX 的答案是能，并把「探索预算」变成一条可测量的扩展轴。
一个通用编码 agent(冻结 LLM,全程不训任何策略)拿到自然语言指令、几张目标图片和一个探索 episode 预算，直接通过机器人的感知与控制接口写代码驱动机器人。没有动作示范、手工动作原语，也没有 value function 引导。闭环分三层：
两个设计选择需要展开。其一，接口只给 RGB-D、相机参数、力信号这些原始数据，不给现成感知模块，3D 建模是探索中自己长出来的：空气炸锅任务里 agent 用点云拟合抽屉的铰接模型，预测的篮筐沿与实测只差 6.5 mm;0.1 mm 间隙插销任务里腕部相机深度不可靠，agent 干脆拿机械臂当探针，靠下压时垂直力的突变量出台面倾角和板顶高度(24.7 mm,CAD 标称 25 mm)。其二，前后端分离：agent 只经工具接口(以 MCP 形式暴露)操作，底层控制和安全限位留在后端；新机器人实现一个后端加接口文档即可接入，不采数据、不训策略。探索可多 agent、多环境并行。
仿真覆盖六个基准、五种形态(单臂、双臂、灵巧手、移动、人形)，探索与评测严格分离，最终程序在未见场景上脱离 agent 单独跑，五个基准平均领先 37.4 分。
| 基准 | RAX | 最强对照 | 差距 |
| RoboDojo(7 任务平均分) | 78.3% | 24.9%(VPP2) | +53.4 |
| BEHAVIOR-1K(Q-score) | 46.5 | 8.2(挑战赛第一名) | +38.3 |
| DexJoCo(32 episodes) | 96.7% | 65.3%(ME-Dex) | +31.4 |
| LIBERO-Pro(位置扰动) | 84.4% | 63.2%(ASPIRE) | +21.2 |
| HumanoidArena(7 任务) | 89.8% | 81.9%(WB-WAM) | +7.9 |
细节比均值更有信息量：RoboDojo 的开放指令倒水任务，五个最强学习策略全部 0 分，RAX 100%;DexJoCo 双手 Assembly 任务 RAX 96.0%,此前最好成绩 28.0。HumanoidArena 上 RAX 只用 3 条遥操作示范，所有基线用 100 条；把示范里的动作序列全部删掉仍有 81.9%,追平用百条动作示范微调的 WB-WAM。原始 LIBERO 上 98.5%,与各家微调模型持平。性能随预算单调上升，HumanoidArena 平均从 2 个 episode 的 52.1% 涨到 32 个的 80.7%。
真机零示范：Franka 完成四个杯子下追踪隐藏方块、开空气炸锅放香蕉、湿毛巾擦桌、0.1 mm 插销、Bandu 塔拆装五个任务；RB-Y1 移动操作臂把之前会话沉淀的技能组合成六步长程整理。撞过一次柜子后，agent 给自己立了条规矩，每次底盘转动前先检查扫掠范围。成本数字同样硬：空气炸锅首次成功花 72.3 分钟推理、262k 输出 token,编译成程序后单次 18 秒、2k token,快 241 倍；同预算下 RGB-D 感知比 RGB-only 平均高 17.3 分。
接入新机器人的成本结构变了：从「采一套语料 + 训练」变成「实现一个后端接口」。对灵巧手、人形这类本体长尾，这是实打实的减负。探索产出沉淀为可读、可改、可组合的代码，推理从分钟级压到秒级，策略模型没有这个性质。抗扰动来源也清楚：程序每个回合重新感知定位，不重放轨迹，所以 LIBERO-Pro 零适应还能保住 76.0%。
定位上，它与 VLA 是两条并行的轴：VLA 花钱买数据，RAX 花钱买探索。任务可自动判分、机器人接口可控的场景，这条路线现在就能用；对开放语义要求高的任务，agent 得在代码里调 VLM 补位。
探索又慢又贵。真机每个 episode 之间要人重置场景，机械臂只在操作员 armed 时允许运动，全程要人在场；BEHAVIOR-1K 每任务用 128 个探索 episode,还配了一个独立 review model 给 agent 反馈，这部分成本没有单独拆账。预算拉满也未必够：make toast random 64 个 episode 只有 47.2%,hang mugs random 一直卡在 33–39%;删掉动作示范后，需要持续步态和全身接触的任务低 10.0–16.6 分，动态全身行为纯靠探索目前还贵。
口径也要留意:DexJoCo 的 99.5% 是每个任务取最好 session 的数字，统一 32 episode 预算下是 96.7%;BEHAVIOR-1K 评测的是 agent-in-the-loop 程序，与其他基准的全自动程序不同。整套系统压在 Codex、Claude Code 这类闭源编码 agent 的能力上，换弱一档的模型还剩多少分，正文没有给对照。