World Action Agent: Harnessing VLMs for Robot Manipulation via World Action Rehearsal
Yehang Zhang, Haojian Huang, Yifan Chang, Jianchong Su, Bohan Zhou, Yingjie Xu, Wosong Chen, Tianhao Zhou, Chenxu Wang, Tianyi Zhang, Yangkai Wei, Wenqian Li, Shiyuan Deng, Yinchuan Li, Ying-Cong Chen, Zexi Li
cs.RO, cs.AI
2026-09-24
港科广等让VLM在自动选择的接触视图里预演、改姿态、图像内纠偏。技能只从LIBERO-90进化，LIBERO-Pro平均成功75.6%；Qwen3.5-9B用轨迹微调后，域外成功率从1.7%升到43.3%。
通用视觉语言模型有空间判断，却很少直接开机器人。VLA 把 VLM 微调成动作头，泛化推理容易被冲掉。Code as Policies 让模型写调用感知和控制 API 的程序，几何是否可执行要等程序跑起来才知道。Show-Harness、VIA 把场景画给 VLM 选动作，仍缺三件事：观察不绕着当前接触转，动作发出去就不能改，图上看到的偏差还要先翻译成坐标。
问题可以收成一句：通用 VLM 怎样用基本原语，在执行全过程里看、试、改。
World Action Agent 不改 VLM 权重，改它看见的东西和决定生效的方式。主智能体每一步选一个工具：查询空间或技能、构造/修改一条可编辑的动作提案、或真正执行。查询和提案不碰物理世界，所以可以反复预演。
工作区有三块。接触视图按场景点云、机器人几何和当前交互区域自动选相机，两路水平投影尽量正交，让毫米到厘米级的夹爪-物体-目标关系能沿两个独立方向读出来；全局视图只负责任务上下文。动作预演里，智能体在画布上标目标，harness 用 cuRobo 做 IK 和规划，半透明机器人叠在每一路上并回报是否可执行。过不了就改，或把空间意图交给 Imagination Agent 在独立上下文里迭代改提案。闭环纠偏允许在接触视图里从参考点拖到想去的位置，标定把图像位移收成有界的末端位移。
程序性知识走同一接口。技能含适用条件、关系型步骤、带参考图的关键状态和结果检查，物体和位移都在当前场景里解析。Skill Agent 对照参考图和当前画布，主智能体只拿文本步骤，避免历史帧被当成当前场景。库从 Codex（GPT-5.5）写的纯文本种子技能起步，Learner / Editor / Reviewer 用 LIBERO-90 的一条专家轨迹和人工 Canvas-GUI 纠错来进化，评测前冻结。另一条路是把 112 条成功轨迹里的 1774 次主智能体工具调用拿来 LoRA 微调 Qwen3.5-9B，子智能体和接地仍用 Gemini 3.7 Flash。
骨干是 Gemini 3.7 Flash。LIBERO-Pro 六个划分（Object / Goal / Spatial × 位置对调与任务扰动），技能只在 LIBERO-90 上进化：
| 设置 | 平均成功率 |
| 端到端 π0.5 | 12.8% |
| Show-Harness（同骨干、无技能） | 6.7% |
| WAA 零样本 | 28.9% |
| WAA + 种子技能 | 43.3% |
| WAA + 进化技能 | 75.6% |
| ASPIRE | 72.0% |
Spatial 两路 WAA 到 80.0% 和 73.3%，ASPIRE 是 51.0% 和 60.0%，CaP-Agent0 / RATs 在 12.0% 到 31.0%。ASPIRE 在两个 Object 划分和 Goal Pos 上仍更强。点云换成融合 RGB-D 或 VGGT，平均掉到 71.1% 和 68.9%，Spatial 仍高于所有基线。单条炉灶演示就能让对应 LIBERO-Pro 任务 10/10 成功。
相对 Show-Harness，每回合约 31 次模型调用、150 秒、0.20 美元，对方是 120 次、874 秒、0.50 美元。
robosuite 上无技能已能把举起和堆叠全部做对，再堆叠 60%；冻结的 LIBERO 技能把再堆叠提到 100%。CaP-Agent0 加 RATs 技能平均 63.3%。Qwen3.5-9B 微调后，域内 0.0%→55.0%，域外 1.7%→43.3%。
这条路把 VLM 当飞行员，把规划器当手：预演挡住不可行抓取，拖拽修厘米级放置，技能库跨物体实例复用关系而不是死记坐标。对已经在用 Gemini 级模型做操作的人，值回票价的是接触视图加预演，不是又一个 VLA。9B 模型能学会开同一套 harness，成本有下降空间。LIBERO-Pro 上 75.6% 对 72.0% 是小胜，Object 划分还没打过 ASPIRE。
作者承认性能受骨干限制：Gemini 3.7 Flash 多视整合不稳，harness 解决不了。每回合仍要几十次调用。小模型微调用了 LIBERO-Pro 成功轨迹，和冻结技能库的协议不一致，域内数字有泄漏风险。子智能体评测时仍是 Gemini，9B 并没有独自飞完。点云来源从仿真换成 VGGT 掉 6.7 个百分点，真机标定误差会更大。代码即策略在开放几何上确实弱，但 ASPIRE 在物体识别类划分上仍然领先，WAA 不是全面压过。