Benchmarking and Enhancing Skill-Level Memory for Partially Observable Robotic Manipulation
Yansong Shi, Jiange Yang, Xijie Yang, Shaowei Zhang, Yuhan Zhu, Tao Lu, Limin Wang
cs.RO
2026-09-30
在 15 项部分可观测操纵任务组成的 HIDE 基准上，基座 VLA 最高只有 26.4%;配三种记忆机制的 SEEK 达 62.9%,真机四任务平均 89%。
给机器人下一条「把红色按钮按三下」的指令，执行到一半时当前画面就不够用了：按完第一下和按完第二下，相机看到的场景几乎一样，该继续按还是收手，只取决于之前发生过什么。这篇把这类信息定义为 hidden task state(隐藏任务状态)：从当前视觉和本体感知推不出来、只能从交互历史恢复的决策变量，对应 POMDP 里的 observation aliasing(观测混叠)。
现有评测没把这件事单独拎出来。RLBench、CALVIN、LIBERO 测完成度和泛化；近期的记忆类基准(RoboMME、RoboMemArena、RMBench)多按轨迹长度或场景复杂度衡量记忆需求。而已有带记忆的策略，保留历史不等于能恢复决策所需的那条状态：SAM2Act+ 在 HIDE 的执行进度跟踪上拿 60.8%,重复计数和历史回溯只有 46.4%;MME 历史回溯 35.2%,重复计数 2.4%。瓶颈在记忆设计与任务信息需求的匹配，不在记忆容量。工作出自上海人工智能实验室，联合中科大、浙大、上海交大和南京大学。
HIDE 基于 RLBench 扩展出 15 个任务，三类各 5 个：
演示由 RLBench 脚本专家自动生成，轨迹按预定义关键点切成阶段，免掉人工标注就拿到结构化阶段标签；每任务 100 条演示、25 个测试回合，一个策略联合训练全部 15 个任务。设计原则很明确：长轨迹加遮挡不算记忆任务，任务里要显式埋进决策点，让历史成为唯一证据。
SEEK 在 SAM2Act 骨干(语言条件、粗到细多视角策略)上加三块互补记忆：
记忆条目在动作预测之后写入，视觉特征与粗分支热图融合，保留空间位置；读取用 SAM 2 式 memory attention,预算有上界：每视角最多 6 条近期加 1 条锚点加 1 个阶段状态，不随回合长度增长。训练分两步：先训无记忆策略并 LoRA 微调视觉骨干，再冻结视觉、只训记忆模块，把「学会看」和「学会用历史」拆开。
HIDE 成功率:
| 方法 | 平均 | 重复计数 | 历史回溯 | 进度跟踪 |
| OpenVLA | 1.6% | 3.2% | 1.6% | 0.0% |
| π0 | 22.1% | 10.4% | 36.0% | 20.0% |
| π0.5 | 14.4% | 5.6% | 24.8% | 12.8% |
| GR00T-N1.7 | 26.4% | 6.4% | 49.6% | 23.2% |
| RVT-2 | 42.9% | 43.2% | 42.4% | 43.2% |
| SAM2Act+ | 51.2% | 46.4% | 46.4% | 60.8% |
| SEEK | 62.9% | 61.6% | 59.2% | 68.0% |
SEEK 比最强基线 SAM2Act+ 高 11.7 个百分点；三个类别对各自最强基线的增益分别是 15.2、9.6、7.2。五个 VLA 基座模型里最高的 GR00T-N1.7 也只有 26.4%,π0.5 是 14.4%,重复计数类仅 5.6%。它们不是抓不住按钮，是数不清自己按了几下。
真机(Franka Panda,每任务 50 条演示、25 次测试):SEEK 平均 89%,SAM2Act+ 47%,π0.5 13%。
| 真机任务 | π0.5 | SAM2Act+ | SEEK |
| 按钮按 N 次 | 0% | 32% | 76% |
| 叠 N 个杯子 | 20% | 48% | 100% |
| 清洁桌面 | 0% | 44% | 80% |
| 翻找白色棋子 | 32% | 64% | 100% |
消融支撑了设计选择：存视觉特征 62.9% 对存本体感知 42.5%,重复计数涨幅最大(+30.4 个百分点)；记忆长度从 0 到 6,平均 46.7% 升到 62.9%,长度 2 时重复计数反而从 46.4% 掉到 44.2%,短窗口不够用；单组件各有主场，SCM 在重复计数 +14.0、WCM 在进度跟踪 +12.0、PAM 在历史回溯 +11.6,单个机制会帮一类拖另一类，三者组合在全部类别领先。标准能力没塌：RLBench 18 任务 84.7% 对无记忆版 84.1%,The Colosseum 扰动下 61.9% 对 61.5%,相对降幅还小了 0.3 个百分点。
对机器人团队这是两个能直接拿走的东西。HIDE 当诊断工具：记忆被拆成三种可操作的需求，哪类任务掉分一眼看到，不用等真机失败再猜。SEEK 当实现参考：读取预算有上界、部署代价可控，在标准基准上不掉点，加记忆没有付出通用性代价。
判断也说得干脆：基座 VLA 在这类任务上的失败是结构性的，策略里没有维护执行状态的机制。指令给的是目标，「重复两次」这句话本身不含「已经做了几次」。想补课的团队，显式计数器加边界监督是最便宜的起点。
作者自述：HIDE 只覆盖受控、可解释的隐藏状态形态，更丰富的真实部分可观测与更一般的记忆机制留给后续工作。
读下来还有几处存疑：SCM 的阶段监督来自脚本专家的关键点切分，真实任务没有现成阶段标签，怎么迁移没有答案；推理时计数器靠策略自己预测的边界步进，错了会累积，论文没报边界预测准确率，89% 的真机成功率里分不清多少是数错、多少是操纵失误；VLA 基线的适配协议披露不充分(官方权重、复现、文献数字混用)，π0.5 的 14.4% 里有多少是协议吃亏说不清，π0 反而比 π0.5 高 7.7 个百分点也未解释；真机只有 4 个任务、每任务 25 次，且任务由同一批人设计，接近自己出题自己考。