ICLR 2026 论文 MoM:混合多记忆状态破解线性模型召回短板
kastnerkyle · x · 2026-09-12
ICLR 2026 Poster 论文提出 Mixture-of-Memories(MoM),针对线性注意力、SSM、线性 RNN 等线性序列建模方法把整条序列压缩进单一固定大小记忆状态、导致 recall 密集任务表现不佳的问题。
- MoM 维护多个独立记忆状态,由路由网络把输入 token 分配到不同记忆状态,提升总记忆容量并减少记忆间干扰
- 可作为通用框架与各种记忆更新机制组合,适用于现有线性模型
- 每个记忆状态计算保持线性复杂度:训练为线性、推理为常数复杂度
- 实验显示 MoM 在下游语言任务尤其是 recall 密集任务上超过现有线性序列模型,接近(Transformer)水平
「研究」频道最新
- 斯坦福 TaskNet 用工人访谈构建职业任务图谱,覆盖 318 个任务 — stanfordnlp · 2026-10-31
- 无配对数据也能跨模态对齐：Wasserstein Procrustes 新论文梳理 — phillip_isola · 2026-10-31
- MIT 教授实测：图像与文本嵌入仅靠一次旋转即可对齐 — phillip_isola · 2026-10-31
- Arena 开放学术合作计划：单个 AI 评测研究项目最高资助 5 万美元 — arena · 2026-10-31
- StudentBench 研究：AI 家教 GRE 提分追平人类，成本仅 1/918 — gharik · 2026-10-31
- WISD:用弱化版模型蒸馏出训练信号,无需特权数据 — jet-ai · 2026-10-31