Coding Agents for Generalized Task and Motion Planning Problems
Matteo Merler, Bowen Li, Josh Roy, Yichao Liang, Qianwei Wang, Yixuan Huang, Tom Silver
cs.RO, cs.AI
2026-09-25
给编码 Agent 模拟器与 20 美元预算写可复用 TAMP 程序。有规划器的环境里 Astra 成功率 95%、规划器 47%，单局算力约低一个数量级。
任务与运动规划（Task and Motion Planning，TAMP）在全可观测、物体中心状态里仍然难：离散选择和几何、运动学、动力学约束缠在一起。广义 TAMP 想跨实例挖规律，少做每次从零搜索，但现有方法要手写谓词、算子、采样器和技能。
另一边，编码 Agent 在软件工程基准上进步很快，可一旦让大模型在 TAMP 系统里做几何决策，哪怕把几何写进提示，成绩也不好。这篇问：现成的编码 Agent 能不能自己写可复用程序，把那摊工程自动化。
设定叫 AgenticGenPlan。每个环境给任务描述和模拟器（reset / step，可渲染），合成预算 20 美元。Agent 自己决定跑什么实验、写什么探测脚本，在预算内改程序。程序冻结后，测试时不再调用大模型，在 100 个未见实例上评，单局超时 60 秒。
主设置沙箱里只有 Python、NumPy 和 SciPy，没有环境源码，也没有手写 TAMP 抽象。另设 +source：Agent 能读实现、调用逆运动学等助手。
三个后端：Claude Code 配 Opus 5（high）、Codex 配 GPT-5.6 Sol（medium）、Codex 配 GPT-6 Astra（high）。对照是 KinDER / PDDLStream 自带的手工规划器（28 个环境里 16 个有）、LLMGenPlan（同一 Opus 5、同一预算、给源码但不能自己选实验）、以及 LLMGenPlan 的第一稿（one-shot）。
规模：KinDER 25 个环境（运动学/动力学 × 2D/3D）加 3 个 PDDLStream 域（Packing、Blocked、Rovers），每方法每环境 5 次独立合成，共 980 个程序、98,000 局。
有规划器的 16 个环境上，三个 Agent 配置的平均成功率是 56% 到 95%，规划器 47%。Claude Code 82%（约 1.7 倍），Astra 95%，Sol 56%。物体变多时，Agent 程序成功率掉得慢，单局计算大约少一个数量级：14 个可扩物体数的环境上，规划器 29 秒，Opus 程序 2.1 秒，Astra 0.5 秒。
| 方法 | 有规划器环境成功率 | 备注 |
| 手工 TAMP 规划器 | 47% | 16 个环境 |
| Codex GPT-5.6 Sol | 56% | 主设置 |
| Claude Code Opus 5 | 82% | 主设置 |
| Codex GPT-6 Astra | 95% | 主设置 |
分族上 Astra 是运动学 2D 99%、动力学 2D 97%、运动学 3D 93%、动力学 3D 65%、PDDLStream 接近 100%；Opus 是 96%、92%、90%、45%、78%。Astra 在 28 个环境里 20 个高于 Opus，15/16 个有规划器的环境超过规划器。28 环境总平均是 Opus 74%、Astra 86%。
给源码把 Opus 从 74% 提到 84%，Astra 从 86% 提到 95%。LLMGenPlan 同样拿源码和 20 美元，只有 28%。缺口在 Agent 能自己写测试、改策略。
日志里能看到具体机制。Shelf 里 Opus 用抓住的方块当标记，把 Kinova Gen3 运动学模型的 RMSE 从 38.9 mm 校准到 1.8 mm。Blocked 里 Sol 加了「远处备用块」回退，成功率从 15% 升到 56%，后来到 83%。SweepIntoDrawer 上主设置 Opus 一次都没成功，Astra 最好的程序不扫地、改成一块块捡，100 局全过。
对做机器人规划的人，这篇把编码 Agent 立成广义 TAMP 的强基线：不写谓词和采样器，靠交互合成一段冻结后的程序，测试时零 LLM 成本。策略也不总是教科书 TAMP。有的程序先找挡路障碍再搬；有的跳过扫把直接用夹爪。作者把这些没在既有解法里出现过的策略，当成不太像背训练集的证据。
代价也清楚。合成要 20 美元和模拟器。测试程序很快（Astra 约 1.3 ms/动作），但你得先付合成账单。动力学三维、要扫或倒很多小物体的环境，主设置里仍大量失败。
全可观测、物体中心状态，合成期有模拟器，推不到有感知噪声的真机。模型训练数据未公开，基准代码泄漏无法排除；作者用交互日志和「意外策略」辩护，这是旁证。Sol 是 medium、另外两个是 high，Agent 差距里混着推理档位。每个环境 5 个 seed，Shelf 上 Opus 从 0% 到 100%，均值对这种方差很敏感。KinDER 本身是简化操作，成功的是写程序，不是部署操作技能。