面壁开源 DHA 跨层混合注意力，性能超全注意力

中国团队面壁智能（Nanbeige）发布并开源新架构研究 Depth Hybrid Attention（DHA）：在混合注意力架构中引入深度方向的 value 混合，使各注意力层能选择性地利用跨层信息，而非仅依赖时间维度的注意力。实验显示该混合架构在性能上超越了全注意力模型，为大模型架构提供了新的效率与效果权衡方向。

2026-11-03 ~ 2026-11-03 · 2 条相关

• Nanbeige 提出 Depth Hybrid Attention:跨层信息混合超越全注意力 — teortaxesTex · 2026-11-03

另有 1 条近重复转述:syedshad