提出 Depth Memory 框架，统一解释 mHC 与 AttnRes 的深层混合收益
orvieto_antonio · x · 2026-10-15
- 针对 mHC 和 AttnRes 等工作表明「更丰富的层间深度混合能在规模上提升模型性能」这一现象，作者提出统一的 Depth Memory 视角：每一层从一组流（streams）中读取信息构成输入，再把输出写回。
- 在此框架下提出 Linear Depth Memory（LDM），为模型配备矩阵值记忆（matrix-valued memory），以统一方式解释为何 richer depth mixing 有效。
所属事件:Depth Memory框架统一解释深层混合的性能收益(2 条相关)→
「研究」频道最新
- 一个问题考倒博士生：代码仓库该拿去做预训练还是跑 RL？ — brianryhuang · 2026-10-15
- 零知识训练设想：不共享数据也能给模型贡献微调 — rickasaurus · 2026-10-15
- 论文揭示创意榜单测的是什么:15 基准指向长尾表现 — shangbinfeng · 2026-10-15
- 用 Brainfuck 复现人工生命论文:随机程序自发演化出自我复制者 — spikedoanz · 2026-10-15
- 分类器扫遍 42000 篇 ICLR 2027 投稿：过半论文疑似全程 AI 辅助 — nsaphra · 2026-10-15
- 第四届 LLM4Code 研讨会征稿:落脚 ICSE 2027 都柏林,截稿 2026 年 11 月 — LingmingZhang · 2026-10-15