SimpleMemVLA不设专用记忆模块,靠视觉历史拿下四项记忆基准SOTA

量子位 · wechat · 2026-09-18

面壁智能联合华中科大、人大、清华、北大、智源等机构提出 SimpleMemVLA：不给机器人加专用记忆模块，直接把带时间戳的分钟级视觉历史作为上下文输入 VLA，让模型结合过去理解当下。

成绩：四项记忆基准总体 SOTA，并在 RoboMemArena（26 项任务、轨迹平均超 1000 控制步）上，用 126 秒历史窗口将全阶段任务成功率提升至 63.6%，比此前最强高 17.4 个百分点；计数任务 31.4%→71.4%，遮挡任务 39.1%→64.3%。
核心思路：60 秒历史仅约 5.6k token，主干支持 262k 上下文，无需提前压缩。避免专用记忆的「写入时承诺」——存入时就决定留什么可能丢掉未来需要的信息。消融显示历史主要通过与词元嵌入、本体状态一起传给动作头的隐藏状态影响行为。
视觉上下文学习：不更新参数，拼接新轨迹片段（换遮挡位置、换颜色提示）即可让模型调整行为，且只对关键历史敏感。
流式推理：复用历史键值缓存、把共享前缀计算与动作执行重叠，60 秒历史决策延迟从 1.02 秒降至 0.68 秒（单张 H100、bf16），满足 0.96 秒实时预算；45 分钟/245k token 历史从 32.1 秒缩至 1.18 秒。
真机双臂演示中，机器人凭遮挡前的视觉历史按红→绿→蓝顺序揭盖，三次布局随颜色位置自适应调整路径。

论文与代码、模型已开源。

「具身」频道最新