Nanbeige 提出 Depth Hybrid Attention:跨层信息混合超越全注意力
teortaxesTex · x · 2026-11-03
中国团队 Nanbeige 发布新架构研究 Depth Hybrid Attention(DHA):在混合注意力架构中引入深度方向的 value 混合，让各注意力层在时间注意力之前复用前层 KV 锚点，仅增加极少计算与缓存开销。
- 核心机制：每个 token 维护一个 depth bank,存储前序层的 KV 锚点；各层通过 depth router 完成读取、以注意力形式做 value 混合后再执行时间注意力。
- 提出两个变体:DWA(适配 GQA + SWA)与 DDA(适配 MLA + KDA)。
- 在 loss 曲线、短上下文基准与长上下文检索评测中，两个变体均超越对应的 full-attention 与 hybrid-attention 基线，同时保留混合注意力低 KV-cache 占用的优势。
代码已开源(GitHub:Nanbeige/Depth-Hybrid-Attention)。
所属事件:面壁开源 DHA 跨层混合注意力，性能超全注意力(2 条相关)→
「研究」频道最新
- AI2 发布 StateBench：前沿模型长文本状态追踪准确率跌至 13% — allen_ai · 2026-11-04
- 新论文 Library of Layers:运行时自适应重排 Transformer 层顺序 — Thrumpwart · 2026-11-04
- TAMU 教授用 AI 制作 400+ 页生成模型教程讲义并公开 — ShuiwangJi · 2026-11-04
- 「DeepMind 黑手党」正孵化新一波 AI4Science 公司，牵动英国科研未来 — ersatzben · 2026-11-04
- MIT 团队手动改权重修复小模型，知名研究者泼冷水：是突破还是好 PR？ — ziv_ravid · 2026-11-04
- 机器人缺的是失败数据：学界讨论 learned sim 与 MuJoCo 分工 — chris_j_paxton · 2026-11-04