ICML 2026论文MoRAM：用记忆原子破解大模型灾难性遗忘
量子位 · wechat · 2026-08-04
UNSW 团队提出新架构 MoRAM，通过将模型更新拆解为最小的 rank-1「记忆原子」，有效解决了大模型持续学习中的灾难性遗忘难题。该论文已被 ICML 2026 接收。
- 现有痛点：主流的 LoRA 结合 MoE 方法因专家粒度太粗，容易引发知识干扰、冗余和路由崩溃。
- MoRAM 方案：将权重更新拆解为独立的秩1参数化记忆单元。新任务只需添加少量新原子并冻结旧原子，推理时基于内容寻址精准检索，完全绕过了传统的路由器机制。
- 实验效果：在 CLIP 和多个大语言模型基准上，MoRAM 实现了更优的稳定性与可塑性平衡，反向迁移（BWT，衡量遗忘）比最强基线低 26 倍，且支持旧知识组件的自动复用。
「研究」频道最新
- 研究：冻结扩散模型可用自身样本自我引导 — nanyang-technological-university-singapore · 2026-08-04
- ICDAR 2026 竞赛：多模态 AI 难解科学图表 — SciKnowOrg · 2026-08-04
- GEOID-Flood：大规模多模态洪水分割基准发布 — links-ads · 2026-08-04
- 告别文字思维：潜在推理如何让 AI 在隐空间思考 — theomitsa · 2026-08-04
- Musubi Tuner 分支实现 MiniMax H3 LoRA 训练，24GB 显存可行 — diogodiogogod · 2026-08-04
- 告别Token生成：新研究让大模型在隐空间进行推理 — CShorten30 · 2026-08-04