上交大提出 Deep Fusion Memory:参数化记忆嵌入隐状态,免在线检索
Rubin Wei · hf · 2026-10-23
上海交大 LUMIA Lab 提出 Deep Fusion Memory(DFM),一种 chunk 级参数化记忆架构:用因果记忆预测器从上文生成记忆,经门控交叉注意力注入中间隐藏状态,以语料 chunk 嵌入作为监督。相比继续预训练可避免灾难性遗忘,相比推理时检索省去在线检索开销,同时提升知识密集型任务表现,解决了外部参数化记忆训练数据构建成本高、输出层插值融合过浅的问题。
「研究」频道最新
- OSDI 论文再翻红:轻量级形式化验证能否守住 Vibe Coding 时代 — tianyin_xu · 2026-10-24
- Princeton等推出WorldOracle基准:动作驱动世界模型常幻构成功画面 — jiqizhixin · 2026-10-24
- 手机视频1小时建物理孪生：Berkeley与NVIDIA开源RoboSimStudio — lukas_m_ziegler · 2026-10-24
- 社会科学方法论观点:安慰剂观测量法暗示 IQ 测量可能有问题 — RexDouglass · 2026-10-24
- 「LLM 作为人类代理人」研究登 Nature 子刊十月刊封面 — iyadrahwan · 2026-10-24
- 美国能源部 Genesis Mission 已列 297 个项目并将开源基础模型 — ingliguori · 2026-10-24