Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens
Ruiyang Si, Jianxin Bi, Shunyu Yang, Rui Ni, Wenbo Huang, Qiang Wang, Shulong Jiang, Duomin Wang, Xiuyu Li, Haiwen Feng, Zhen Dong, Daquan Zhou
cs.CV
2026-10-02
把机器人原语包进 Python 代码单元、按需回传图像,700 个仿真任务成功率 63.1%→71.7%,输入 token 少 65%。
VLM 机器人 agent 的主流接法是 tool calling:模型看着当前观察,每步选一个原语(现成的运动、感知、抓取操作)去调用。这个接口有两个内置成本。凡是依赖上一步结果的操作都得再来一轮模型调用;中间结果还会一路堆在对话里,后续每次调用都重新处理一遍。RPent 里,运动原语每执行一步还自动回传多路相机图像。定位、移动、纠错循环往复的任务,钱的大头花在模型空转上,哪怕原语本身很可靠。
这篇问的问题很窄:同一套原语、同一个 planner,把接口从「调工具」换成「写代码」,成功率和 token 开销会怎么变。
PyRUA-Lean 把机器人暴露成 Python 对象 robo,原语全是它的方法,agent 通过 python(code) 工具每次交出一个代码单元(cell),运行时执行完再把反馈交回模型。三个机制撑起框架:
放碗的例子把机制讲得很清楚:一个 cell 替掉基线四步,先用 numpy 从世界坐标高度图里算出碗底高度、推出放置目标,再条件执行下降和松爪,最后只在任务未完成时才请求一张图。这次成功执行回传给模型的是 5 行打印,零张图像。
设计逻辑直白:操作之间的依赖处理本来不需要模型,挪进运行时就省下调用;回传什么由代码决定,观察流量在源头被控制,不是事后过滤。
700 个配对仿真任务实例(LIBERO-PRO、RoboTwin 2.0、RoboCasa365),双方用同一个 GPT-6 Astra planner、同一套冻结 VLA、同样预算(每 episode 40 次调用,复合任务 100 次):
| 指标 | 工具调用 (RPent) | PyRUA-Lean | 差距 |
| 总体成功率 | 63.1% | 71.7% | +8.6 pp |
| LLM 调用/episode | 17.0 | 8.7 | 2.0× |
| 输入 token | 788k | 276k | 2.9× |
| 成本/episode | $1.63 | $0.74 | 2.2× |
分 benchmark:LIBERO-PRO 83.0→94.0,RoboTwin 2.0 60.0→69.2,RC365 原子任务 78.9→86.7,复合任务 34.4→39.4。只有代码侧解出 96 个实例,只有工具侧解出 36 个。
论文对 token 节省做了来源分解。LIBERO-PRO 上 4.48 倍的 token 比,等于 2.55 倍调用次数差乘 1.76 倍单次 prompt 差,大头在调用次数。消融显示去掉 VLA 或操作指南后优势仍在,RoboTwin 2.0 无 VLA 时是 68.8% 对 42.8%。一个反例:只给工具调用基线加上「按需回图」,成功率反而从 83.0% 掉到 68.5%,选择性观察必须和程序化执行、重规划绑在一起才成立,单拆出来会伤任务。RoboDojo 三个任务的试点里是 26.7% 对 3.4%,每次成功的总 token 从 11.56M 降到 1.07M。
这是接口层的论文,结论不限于机器人:观察昂贵、步骤强依赖的多步 agent 里,让模型写代码、少逐个调工具,省钱和涨成功率可以同时发生。它把 CodeAct 一路的判断补上了机器人侧的证据,并且把推理成本当一等指标来量,这在具身智能论文里不常见。方法本身不新,代码式机器人控制从 Code as Policies 就有脉络,这篇的价值在严格对照下的测量。
作者列了硬限制:只用 GPT-6 Astra 一个 planner,每个实例只跑一次,没测运行间方差,没上真机;接口是整体对比,组合、持久状态、选择性观察各自的贡献没有分离。
读下来还有几处。增益在 VLA 主导的任务上最小,RC365 原子任务里 prompt 的大头是初始输入,代码侧更大的 API 描述还会抵掉一部分收益;算上失败 episode,该子集的成本优势只剩约 1.1 倍。96 个代码独有解里,52 个对应基线耗尽调用预算,另外 44 个基线是提前失败,作者承认这部分不能全归因于恢复逻辑更好,里面含 VLA 这次成、下次败的运气。图 3 的 token 预算曲线是对已录轨迹的事后截断,没有按预算重新跑。两边都跑在 Codex CLI 里,接近 272K token 会自动压缩历史,上下文管理并不由接口单独决定。