RLE-Bench: A Qualifying Exam for Coding Agents as Robot Learning Engineers
Haitong Ma, Chenxiao Gao, Rushi Qiang, Bo Dai, Na Li
cs.RO
2026-09-28
哈佛与佐治亚理工的 RLE-Bench 用 51 个物理仿真任务考 coding agent 的机器人工程能力,11 个模型组合中 GPT-6 Astra 以 73.4 分居首。
Coding agent 已经能读陌生仓库、写代码、跑测试、按失败信息迭代,SWE-bench、Terminal-Bench 这类基准把数字世界的能力量得越来越细。机器人领域的基准走的是另一套逻辑:LIBERO、RoboTwin 评的是训好的 policy 和 controller,不评「把机器人系统搭起来的人」。真实机器人工程远不止控制:设计机械结构、写感知模块、训策略、诊断失败,还要在时间、算力、交互步数的预算内做完。CaP-X 往前迈了一步,考 agent 写 controller 代码,但停在 code-as-policy 这一环。RLE-Bench(Harvard 与 Georgia Tech)补的就是这块空档:把 coding agent 当「机器人学习工程师」来考,看前沿模型能不能把数字世界练出来的工程能力搬进物理仿真。
51 个任务、9 个 task family、四条工作流。每个任务是一个六元组:指令、公开开发环境、资源预算、产物契约、隐藏评测环境、验证器。开发阶段 agent 在预算内自由折腾,交出可执行产物;验证器在隐藏种子、隐藏场景、隐藏机型或 held-out 任务上跑物理 rollout 给分,特权状态对 agent 不可见。所有任务打包成 Harbor 容器环境。总分 RLE Index 是四条工作流得分的等权宏平均。
11 个「模型+harness」组合,推理力度统一 high,禁用联网搜索。
| 系统(harness) | RLE Index | 均任务成本 |
| GPT-6 Astra(Codex CLI) | 73.4 | $39.00 |
| Claude Fable 5.1(Claude Code) | 64.0 | $22.81 |
| Claude Opus 5(Claude Code) | 53.4 | $27.01 |
| GPT-5.6 Sol(Codex CLI) | 48.7 | $17.17 |
| DeepSeek-V4.1-Flash(Claude Code) | 38.9 | $0.40 |
GPT-6 Astra 和 Claude Fable 5.1 的领先集中在 Interactive Control 和 Perception 两条工作流,两者都吃多模态观察和反复的环境反馈,作者把优势归因于视觉 grounding。Policy Development 段位差最小,因为它最像传统 MLE 任务。Mechanical Design 大家一起挣扎:所有参评模型的提交设计在最差臂静态稳定裕度检查点上都是零分,结构有效性大多能过,负载下的失稳和运动中的碰撞没人处理对。
几个值得记的数字:GPT-6 Astra 在料箱清理上拿 92.6 分,清空率 100%,吞吐 9.22 件/分钟。RoboTwin 鲁棒性赛道全场最高 20.0 分,开发分与官方分在 LIBERO 差 19 分、在 RoboTwin 差 41 分,agent 自造扰动代理也补不上这个缺口。nanoVLA 的 36 个 session 里有 29 个最终提交好于第一次开发评测,评测反馈确实驱动改进,只是改进被反馈能测到的东西框住。外部脚手架对多数模型涨分降本,GPT-6 Astra 用 L1 裸 API 就很强,加脚手架偶尔反而掉分。位姿估计的方法不限档里,只有 GPT-6 Astra 真正用上了 GPU,训了个小 CNN 在深度不可靠时兜底。
这是第一个把机器人开发全栈当考场的 coding agent 基准,每条工作流单独出分,能直接看出模型偏科在哪。选型口径也变了:DeepSeek-V4.1-Flash 用 $0.40 一任务拿到 38.9 分,和旗舰的 $39 不是一个性价比量级。对做 agent 训练的人,RoboTwin 那 41 分的鲁棒性落差是全文最值钱的数据点:开发时能过不等于扰动下能过,这类物理 hidden test 恰好是现有训练环境给不了的信号。
作者自列三条:纯仿真,不能代表真实世界的可靠性与安全性;四条工作流只覆盖机器人工程的一部分;公开发布后有训练数据污染风险。读表格时还有几点要留意:RLE Index 聚合的是各任务的 verifier reward,不是统一成功率,跨 family 比较要小心;每个任务只报一次选定 run,没有多次采样的方差;Grok 4.6 和 Gemini 3.7 Flash 因 harness 与 Harbor 不兼容连成本数据都缺,排名可信度打折;GPT-5.6 三个变体分差 32 分,单次评测的噪声不小。