Depth Memory 框架提出线性深度记忆,在 DepthBench 上表现亮眼
SonglinYang4 · x · 2026-10-15
- 一项新工作提出 Depth Memory 统一视角:每层从一组流(stream)读取输入、再写回输出。此前 mHC 和 AttnRes 表明更丰富的深度方向混合能提升规模化下的模型表现,该框架试图给出统一解释。
- Linear Depth Memory (LDM) 为模型配备矩阵值记忆。配图显示在 400M 与 1.6B 规模、不同宽深比配置下,LDM 的 held-out 困惑度低于 PreLN、AttnRes、HC、mHC 等对比方法,且随规模增大优势保持。
所属事件:Depth Memory框架统一解释深层混合的性能收益(2 条相关)→
「研究」频道最新
- 用 Brainfuck 复现人工生命论文:随机程序自发演化出自我复制者 — spikedoanz · 2026-10-15
- 分类器扫遍 42000 篇 ICLR 2027 投稿：过半论文疑似全程 AI 辅助 — nsaphra · 2026-10-15
- 第四届 LLM4Code 研讨会征稿:落脚 ICSE 2027 都柏林,截稿 2026 年 11 月 — LingmingZhang · 2026-10-15
- ELSA3D 入选 NeurIPS：单一骨干网同时生成 3D 资产并做语言描述 — CSProfKGD · 2026-10-15
- 权重挪动 1.3% 表征大变，HNC 方法挑战柏拉图表征假说 — neuroecology · 2026-10-15
- NeurIPS Spotlight 论文:反向时间建模 TRLM 为 LLM 提供无监督反馈,重排序提升 5% — LucaAmb · 2026-10-15