ICLR 2026 论文 MoM:混合多记忆状态破解线性模型召回短板
kastnerkyle · x · 2026-09-12
ICLR 2026 Poster 论文提出 Mixture-of-Memories(MoM),针对线性注意力、SSM、线性 RNN 等线性序列建模方法把整条序列压缩进单一固定大小记忆状态、导致 recall 密集任务表现不佳的问题。
- MoM 维护多个独立记忆状态,由路由网络把输入 token 分配到不同记忆状态,提升总记忆容量并减少记忆间干扰
- 可作为通用框架与各种记忆更新机制组合,适用于现有线性模型
- 每个记忆状态计算保持线性复杂度:训练为线性、推理为常数复杂度
- 实验显示 MoM 在下游语言任务尤其是 recall 密集任务上超过现有线性序列模型,接近(Transformer)水平
「研究」频道最新
- DeepMind 发布 10 米分辨率全球森林地图，天然林判别精度约 95% — anselm · 2026-10-31
- 在 RNN 单元加入 Tversky 相似度分支，一半深度追平全深度并提速 2 倍 — stanfordnlp · 2026-10-31
- AI 将 NP 问题电路下界从 3.1n 推至 3.5n，UCLA 发起人机协作冲 P≠NP — soumitrashukla9 · 2026-10-31
- Qwenputer：把完整 RISC-V CPU 塞进 Qwen3.5-4B 权重里 — armand_ruiz · 2026-10-31
- AI 时代工作意义何在？跨国调查：81% 的人对工作满意 — soumitrashukla9 · 2026-10-31
- 论文：基准测试难度分布失真，榜单结论需谨慎解读 — Miserable-Dare5090 · 2026-10-31