Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory
Ying Yang, Guiyu Zhang, Lianghua Huang, Chang Nie, Chenyang Si, Haofan Wang, Shaoshuai Shi, Li Jiang
cs.CV
2026-10-02
SMI 微调 Qwen3.5-4B,用聚类、簇内去冗余、动作检索和可靠性过滤管理视频世界模型的记忆。HY1.5 上稀疏 83.7%,场景一致性从 51.61 升至 67.02,往返 PSNR 从 12.48 升至 13.31。
动作条件的视频世界模型会把新画面写回历史,再用来预测下一步。历史变长后,重复观察堆高存储;重访旧地点时如果叫不回当时的几何和外观,布局和物体就会对不上;有瑕疵的新画面一旦入库,后面会拿错误做参考。
压缩把上下文收成有界表示,细的视觉证据一起丢。几何检索信相机或视野重叠,遮挡和位姿误差会召回其实看不见的片段。语义检索分不清长得像、地点却不同的画面。稀疏注意力省的是计算,不管长期留哪一段。SMI（空间记忆智能）把分组、删除、按动作取回和新画面准入交给一个理解模型。
决策模型是微调后的 Qwen3.5-4B,能同时看画面和文字再做判断。生成骨干为 WorldPlay 的 HY1.5-8B 与 Wan2.2-5B,权重不改。相机位姿只收窄候选。
数据来自约一千条长于一分钟的真实推理轨迹。人工标注 354 条,给 GPT-5.6-sol 和 Gemini-3.1 Pro 当示范,Claude Fable 5 标出异常后再人工改正。HY1.5 训练集 63911 条,动作检索约占 38.53%;Wan2.2 为 30936 条。交叉熵微调,AdamW,学习率 2×10^-5,全局 batch 64。
初始画面、动作、随机种子和上下文预算相同。对照是 Base 的视场重叠、压缩用的 FramePack 与 Deep Forcing、稀疏路由 MoC、几何检索 VMem、语义检索 MemFlow。VBench 与 GPT 评测各用 100 段一分钟视频,往返重建另用 100 段重访轨迹,比去程和回程的对应帧。三个 GPT-5.6-sol 评审互盲。稀疏率是删掉的记忆块占比,Base 为 0%。延迟相对 Base。
HY1.5 上:
| 方法 | 场景一致性 | 总体视觉 | PSNR | 稀疏率 | 延迟 |
| Base (FoV) | 51.61 | 53.15 | 12.48 | 0% | ×1.00 |
| VMem | 54.47 | 56.51 | 12.77 | 0% | ×1.47 |
| FramePack | 43.28 | 46.65 | 11.72 | 94.38% | ×1.00 |
| Deep Forcing | 37.68 | 33.63 | 11.26 | 79.21% | ×0.81 |
| SMI | 67.02 | 65.37 | 13.31 | 83.68% | ×1.38 |
美学分从 0.445 升至 0.469,LPIPS 从 0.603 降至 0.555。背景一致性 0.943,Deep Forcing 为 0.946,SMI 在这项未领先。相对 Base,场景一致性高 15.4 分,PSNR 从 12.48 升至 13.31。VMem 为 54.47,仍低 12.5 分,稀疏率为 0,延迟 ×1.47,慢于 SMI 的 ×1.38。FramePack 稀疏率 94.38%,场景一致性 43.28,低于 Base 的 51.61。MoC 场景一致性 48.92、PSNR 10.80,不做稀疏;MemFlow 场景一致性 43.32、PSNR 10.30,稀疏率 49.43%。
Wan2.2 上,SMI 稀疏率 82.21%,场景一致性 46.93,总体视觉 51.49,PSNR 11.56,延迟 ×1.31。Deep Forcing 总体视觉 50.73,只低 0.76,延迟 ×0.75;场景一致性 46.86。SMI 背景一致性 0.917,Base 为 0.930。九项 GPT 细项里 SMI 没有全拿下:长程身份 SMI 42.83,Deep Forcing 44.80,MoC 45.92;相邻过渡 SMI 59.28,Deep Forcing 61.65。差距主要在 HY1.5。
消融始终保留动作检索。去掉聚类后稀疏率仍有 80.53%,PSNR 从 13.31 掉到 11.05。去掉可靠性过滤,PSNR 为 13.23,美学分从 0.469 降到 0.456。三模块全关时稀疏率为 0,PSNR 12.81。没有聚类,去冗余会误删其他地点的证据。
不微调的 Qwen3.5-4B 稀疏率 86.34%,PSNR 掉到 9.40,场景一致性 42.84,低于 Base。
20 人在 15 个场景、每段 45 到 60 秒里选最佳。场景一致性首选:SMI 52.50%,VMem 27.00%,Base 11.00%,FramePack 7.50%。生成稳定性:57.83%、27.83%、11.33%、2.00%。Deep Forcing 与 MoC 未参加。
可探索视频要在变长的历史上保持旧地点不变。SMI 不改骨干,用一个 4B 模型把四步记忆决策固定下来。HY1.5 上延迟约 ×1.38,删掉 83.7% 的记忆,场景一致性从 51.61 到 67.02。
Wan2.2 上总体视觉只比更快的 Deep Forcing 高 0.76,背景一致性还在下降。这是记忆控制器的收益,幅度取决于骨干。理解和生成仍然分开训练。
论文写了三条。SMI 不与世界模型端到端训练,骨干的画质、可控性和稳定性不会因此提高。理解与生成表示不同,生成早期记忆尚短,额外计算更亏,延迟在 HY1.5 为 ×1.38,在 Wan2.2 为 ×1.31。任务也没覆盖长程流式理解。
GPT-5.6-sol 既标注训练数据,又担任主自动评审,涨分和评审口味缠在一起。用户研究只有 20 人、15 个场景,没有 Deep Forcing。FramePack 与 Deep Forcing 在两个骨干上的稀疏率完全一样,94.38% 与 79.21%,更像固定压缩比例,而不是随内容变化的丢弃。评测只有一分钟,往返 PSNR 仍在 13 dB 附近。运行规则写低于 6 分丢弃,训练标签则把不高于 6 分记为过滤。7 个几何候选和远程块上限没有敏感度实验。