Depth Memory框架统一解释深层混合的性能收益

针对mHC与AttnRes等研究显示「更丰富的层间深度混合能在规模化时提升模型性能」的现象，一项新工作提出统一的Depth Memory视角：将每层视为从一组流读取输入、再写回输出，并引入线性深度记忆的统一框架。该框架在DepthBench基准上表现亮眼，为理解深层 Transformer 的混合机制提供了统一解释。

2026-10-15 ~ 2026-10-15 · 2 条相关

• 提出 Depth Memory 框架，统一解释 mHC 与 AttnRes 的深层混合收益 — orvieto_antonio · 2026-10-15
• Depth Memory 框架提出线性深度记忆,在 DepthBench 上表现亮眼 — SonglinYang4 · 2026-10-15