From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation
Tingwen Du, Haoyu Guo, Hanxue Zhang, Xuanxu Wang, Junting Dong, Chao Gao, Mingfei Han, Tao Lu, Mulin Yu, Chunhua Shen, Xiaojun Chang, Zhihui Li
cs.RO
2026-10-21
SERA 用可修订外壳包住冻结 VLA，由 gpt-5.6-sol 做高层规划。十六项历史依赖任务上，自主选择后成功率 51.38%，比同一外壳不进化的 44.38% 高出 7 个百分点。
长程操作里，相似画面常常对应不同的下一步。按钮按到第几次、演示里先去过哪里、刚才有没有抓稳，都不在当前帧里。这种历史依赖是非马尔可夫的：只看这一刻，策略会把「继续」和「停止」判成同一件事。
VLA（视觉-语言-动作模型，把图像和语言直接映成动作）加记忆，以及 VLM 出子目标、VLA 去执行的分层，都已有人做。还没解决的是规划器自己怎么记账。发出指令不等于这步做成了，进度得靠后续观测和反馈改写。跨尝试时，执行记录还要变成下次能复用的改动。演示贵，不适合为此重做监督微调数据。
SERA 把高层 VLM 放进可编辑 harness。这层外壳规定输入怎么拼、上下文怎么维护、指令怎么检查、反馈怎么进下一轮。底层 VLA 权重冻结，只把指令变成动作块。规划器用 gpt-5.6-sol，经 Codex 调用，推理力度为 high。
回合开始时从指令和初始上下文抽出固定任务说明，初始材料可以是演示。执行中用前置与腕部画面和反馈，把进度摘要压在 1600 字内：阶段、已完成步骤、抓住的物体、夹爪和不确定点。画面滚出窗口后文字还在。
每一轮把任务说明、最近观测、上下文、上一条指令和动作候选交给 VLM。候选来自技能目录，按前一技能、后继和频率做倒数排名融合，默认前五条，不看语义。同一次调用里先评上一条指令，再交回新上下文和下一条。检查模板和接地点后，冻结的 VLA 执行动作块的有限前缀。停滞会触发重审。视觉核对没有独立否决，进度也是模型估计。
自进化改外壳，不为高层 VLM 建微调集。分析代理定位第一次偏离，把物理执行和进度推理分开。修订只动规划提示、评估标准和控制规则。验证器在同一批开发回合上对比候选与缓存基线，再决定续改、换目标或放弃。选中配置在测试前冻结。诊断可看专家演示，部署后只能按任务身份和运行时可见信息触发，并拒绝未注册代码插件。
评测用 RoboMME，16 个历史依赖任务，分计数（Counting）、永续（Permanence）、指代（Reference）、模仿（Imitation）四组，每任务 50 条，共 800 条。成功率对任务等权平均。表中基线取公开排行榜，SERA 取自主选择后的配置。
| 方法 | 总成功率 |
| π0.5，只用当前观测 | 17.93% |
| π0.5 加上动作历史 | 19.40% |
| SAM2Act | 21.37% |
| FrameSamp+Modul | 44.51% |
| MemER | 42.38% |
| SERA | 51.38% |
SERA 在指代组 69.50%、永续组 57.00%，两组都是表 1 所列方法中最高。MemER 在这两组是 38.00% 和 53.17%，FrameSamp+Modul 是 36.33% 和 25.11%。计数组 SERA 为 49.00%，低于 FrameSamp+Modul 的 65.22%。模仿组 30.00%，低于 51.39%。总分第一，有两组落后。SimpleSG+QwenVL、GroundSG+QwenVL、GroundSG+Gemini 的总分是 29.00%、32.70%、11.56%。
同一外壳不做自进化是 44.38%，进化后 51.38%，高 7.00 个百分点。图 3a 把增益拆开：指代组约 69% 到 69.5%，永续组 56% 到 57%，计数组 34% 到 49%，模仿组 18.5% 到 30%。回头看演示、记住先前观测，主要靠强规划器和上下文。自进化补的是计数和模仿里的规则漏洞，例如方向映射写反、候选里缺了已有动作。
PatternLock 在 6 条开发面板上由 2 条到 3 条再到 5 条。论文写明不能当成两个组件的消融。测试集是 30/50。本地复现 MemER 为 363/800，SERA 为 411/800。VideoPlaceButton、VideoPlaceOrder、VideoUnmaskSwap 分别是 49/50、46/50、46/50，对照本地 MemER 的 14/50、18/50、18/50。ButtonUnmask 为 20/50 对 41/50。ButtonUnmaskSwap、InsertPeg、RouteStick 均为 0/50。
规划器不微调，把记账、检查和改规则放到模型外，用回放修订外壳，底层 VLA 保持冻结。比再采演示做高层微调，改动面更小。
更干净的对照是同一规划器、同一执行器下的 44.38% 到 51.38%。和 FrameSamp+Modul 的 44.51%、MemER 的 42.38% 比，规划器没对齐：这边是 gpt-5.6-sol，对方是 QwenVL、Gemini 或 MemER 自己的高层。指代组进化前已约 69%。
补丁按任务身份触发，没有选中就用初版。预算用尽时，开发集多成功 1 条且无退步的回退也能留下。测试变差的选中项仍计入总分，不会事后换成该任务更好的一版。7 个百分点是这套选择程序的汇总。
论文把延迟放在首位。每轮都要做一次 VLM 推理，长程开销会累加，动态任务可能来不及反应。质量与速度的折中没有测量，也没有延迟数字。
高层决策落到执行器上仍会走样。RoboMemArena 的探索任务里，规划器要求再倒一次，执行器却把容器放上架子。上下文记着未完成，再抓取仍失败。夹爪干预的开发跑有成有败。可靠恢复仍是开放问题，外壳只管规划侧。
诊断可以用专家演示，没建微调集不等于没看过专家信息。三项任务测试成功数为 0，总分被指代组托着。正文没写低层 VLA 的检查点，无法和排行榜执行器核对。只有仿真，没有真机。进度摘要是模型估计，记错会喂进下一轮。