Memorizon:流式世界模型跨重访训练,长跨度只增 12% 步时成本
MBZUAI-IFM · hf · 2026-10-02
MBZUAI 团队发布 Memorizon,解决流式世界模型在重复访问同一场景时保持一致性的训练难题。核心矛盾是:监督重复访问需要覆盖数分钟的长跨度样本,而全跨度稠密注意力开销是二次方的。
- 核心方法:训练样本可覆盖任意长度跨度,但只在最后 k 个 chunk 上计分;每个计分 chunk 通过相机共视性检索自己的 top-K latent,合并成一个规模上限为 kK 的共享检索库,序列长度因此有界,与跨度无关。最短跨度时完全退化为常规训练。
- 成本:检索库只一次性增加单步开销,跨度从 100 秒拉到 400 秒仅增加 12% 步时。
- 效果:相对滑窗基线,检索在所有 split 上提升重访一致性;跨度足以覆盖首次访问时再额外提升 24%-30%(以一定画质为代价),更长跨度不再有益。
- 消融:用另一 episode 填充检索库使重访相关性下降 83%,证明模型确实在利用检索内容。
「研究」频道最新
- SECRET 免训练法缓解音视频大模型跨模态幻觉，最高提升 18 个百分点 — Yu Zhang · 2026-10-02
- 美团 LongCat 提出 N-OPSD：邻近专家池自蒸馏，AIME 均值最高提升 2.75 分 — meituan-longcat · 2026-10-02
- DMM 迭代意图去噪解多智能体寻路，1600 任务解决 1598 并扩展到百万智能体 — Valeriy Vyaltsev · 2026-10-02
- ProVer 论文:让 LLM 裁判定位关键步骤,Agent RL 超 GRPO 9.9% — omarsar0 · 2026-10-02
- 哥本哈根大学招募无分词语言模型方向博士生,办公室设在植物园天文台 — delliott · 2026-10-02
- KaliBench:8504 条指令对测 LLM 网安 CLI 能力,开源模型无一超 42% — RISys-Lab · 2026-10-02