南壁开源深度混合注意力 DHA:混合架构性能超全注意力
syedshad · reddit · 2026-11-03
面壁智能(Nanbeige)发布开源架构研究 Depth Hybrid Attention(DHA),在混合注意力架构中引入跨深度的 value 混合,让每个注意力层能选择性复用更早层的表征,几乎不增加计算与 KV cache 开销。
- 提出两个适配变体:Depth Window Attention(DWA) 适配 GQA+SWA,Depth Delta Attention(DDA) 适配 MLA+KDA
- 在 loss 曲线、短上下文 benchmark 和长上下文检索评测中,两个变体均优于对应的全注意力与混合注意力基线,同时保留混合注意力的低 KV-cache 占用
- 机制上为每个 token 维护独立的 depth bank 存储历史 KV 锚点,注意力层在时序注意力前通过 depth router 读取并混合历史表征
代码已在 GitHub 开源。
所属事件:面壁开源 DHA 跨层混合注意力，性能超全注意力(2 条相关)→
「研究」频道最新
- Anthropic 发布 FlashProve:2 秒验证模型真伪，但证明成本高达推理 100 倍 — bgmshana · 2026-11-04
- STOC 投稿现 P=NP 与 P≠NP 证明各一篇，学者调侃两个都错 — thegautamkamath · 2026-11-04
- 让 DeepSeek V4.1 Flash 只看权重猜任务：4 个 RL 检查点猜对 3 个 — poppear · 2026-11-04
- CoworkOS 开源：三层协作 Agent 框架，Qwen3.6 自训练提升 9.76 分 — KyeGomezB · 2026-11-04
- STOC 2027 收 1665 篇投稿并即时全部公开，作者身份不再匿名 — thegautamkamath · 2026-11-04
- NeurIPS 论文 DOLORES:免训练让 8B 模型击败同家族 32B — StellaLisy · 2026-11-04