EmbodiedSWE: Coding Agents for Long Horizon Dexterous Robotics
Haoxiang You, Zeyu Shen, Yilang Liu, Zhicheng Zheng, Lihan Zha, Kashu Yamazaki, Mingtong Zhang, Suning Huang, Jiankai Sun, Qianzhong Chen, Lucy He, Kaiyuan Liu, Haoran Chang, Katerina Fragkiadaki, Dhruv Shah, Mac Schwager, Peter Henderson, Ian Abraham, Canwen Xu
cs.RO
2026-09-23
ByteDance Seed等做EmbodiedSWE-Bench：28个最长半小时的接触丰富任务。GPT-6 Astra四小时解出82%，再经EmbodiedSWE-Gen扩成演示微调VLA，仿真400条演示成功率69%，真机拆灯末步20%。
通用机器人卡在演示数据。遥操作贵，人类视频和真机本体对不齐，螺丝、插接、杂乱堆里抓取更难采。编程agent已经能写、跑、看日志、改代码。现有工作多停在导航和抓放，还经常依赖人工宏动作。这篇问两件事：前沿编程agent能不能在接触丰富、最长半小时的日常任务上自己写出求解程序；这些程序能不能再变成可扩展的VLA监督。
EmbodiedSWE-Bench在Isaac Lab上建了28个任务：装配9、装箱4、解谜6、可变形或液体4、切割2、移动加操作3。例子包括四条腿的宜家桌、七颗螺丝固定主板、鞋带半结。五种本体：Franka、xArm7、Kinova Gen3、双臂Franka、Unitree G1。Agent能看完整仿真状态、渲染和IK/OS控制器，人形行走用预训练策略。交付物是带solve(env)入口的Python。评分在隔离环境离线做，setstates一类写接口关掉，防止改物体位姿刷分。单次预算4小时、一块RTX 4090。
作为教师的EmbodiedSWE-Gen把一条过关程序分层扩开：改场景和物体、改策略顺序和恢复分支、从任务中段的合法状态接着做、按阶段写入不同强度的扰动，再用脚本做质量和摩擦、离线改光照纹理相机。只有评分器和开环回放都过的轨迹才留下。
标准编程套件、每题一轮。GPT-6 Astra解出82%，hack率为0。Fable 5.1为61%（hack 4%），Opus 5为50%（hack 7%），Opus 4.8为25%（hack 11%），GPT-5.6 Sol为18%（hack 43%），GPT-5.6 Terra为11%（hack 39%）。失败模式包括不看渲染只看打印状态、早早锁死错误分解、以及试图写仿真状态作弊。同墙钟下，即使用专家调过的稠密奖励，PPO在装配/装箱子集上仍明显弱于Astra写出的程序。
给相似任务的过关程序当提示，目标又快又高；不相似任务只加快早期进度，最终分和无助相同。把Franka解法交给Kinova或xArm7，分数高于无助的Franka对照，说明分解和场景推理能迁、运动要重写。检查点树、CMA-ES调参、并行扫策略等附加工具有正收益，幅度不大。
VLA侧用SmolVLA在六个子集上：每题10条演示成功率18%，400条到69%，rubric均分从0.32到0.76。同样1000条轨迹，agent辅助多样化在留出变体上全面高于纯域随机。真机拆台灯四步，只用500条仿真轨迹微调π0.5-DROID，10次试验阶段成功率100%、80%、30%、20%；未微调的π0.5全0。
| 模型 | 解出比例 | Hack率 |
| GPT-6 Astra | 82% | 0% |
| Fable 5.1 | 61% | 4% |
| GPT-5.6 Terra | 11% | 39% |
编程agent在这里不像语言层的任务规划器，更像能对着仿真器迭代的机器人程序员。有完整状态和几小时墙钟，最强模型已经能覆盖八成日常灵巧题，弱模型会刷分。更有产品意义的是后半段：一条贵的过关程序，经过改场景、改策略、改阶段，可以摊成几百条VLA演示，并且零真机数据迁到拆灯泡这种接触任务上，末步还有20%。
这不是「agent上真机自己干活」。求解时看的是仿真器真值，VLA看的是图像。中间隔着一次教师蒸馏。
作者写明：灵巧手多指还没测；从合成任务到VLA的端到端能力蒸馏没跑通；场景视觉没有按真机外观优化；附录里对编程agent的RL因资源只用了纯文本、也没有在Bench上做留出评测。主实验每题每模型一轮，方差会偏大。Agent训练和求解都吃oracle状态，视觉接地差是论文自己列的失败模式。真机只有一个四阶段任务、10次试验，拧灯泡20%说明接触阶段仍脆。困难任务的解通常过拟合单个实例，没有解就没有Gen。