SMI 框架用理解模型管理空间记忆,破解世界模型长视频难题
Ying Yang · hf · 2026-10-05
长视频生成与世界模型在交互娱乐和具身仿真上潜力很大,但随记忆序列变长、结构变复杂,长程空间上下文的管理成为瓶颈。
论文提出 Spatial Memory Intelligence(SMI),首个系统性用理解模型(MLLM)为长视频世界模型做空间记忆管理的框架,包含四个协同的原子操作:
- 空间聚类
- 簇内稀疏化
- 动作感知检索
- 可靠性感知过滤
在多个基线、基准和世界模型骨干上的实验显示,SMI 在记忆稀疏度、生成稳定性和空间一致性上均有全面提升。
「研究」频道最新
- Cohere Labs 多篇研究入选 COLM,含海报与工作坊报告 — Cohere_Labs · 2026-10-05
- Gaussian Splatting 随机渲染提速:Pixel 7 Pro 上 7.5ms 渲一帧 — willeastcott · 2026-10-05
- Windfoil 发布:闭式覆盖实现更快可微矢量图形渲染 — thespite · 2026-10-05
- 复盘谷歌量子霸权争议：200 秒神话一周内被 IBM 打到 2.5 天 — thisguyknowsai · 2026-10-05
- Schmidhuber 重申:1991 年 ULTRA 才是线性注意力与 Transformer 概念源头 — SchmidhuberAI · 2026-10-05
- Reddit 用户发起 Dot Commons:让众人 AI 智能体协作攻关阿尔茨海默病研究 — Kitchen-Jicama8715 · 2026-10-05