研究称深度模型存在注意力坍缩 近四分之一层变死层
一项关于深度注意力坍缩（deep attention collapse）及 Block Attention-Residual（Block AttnRes）架构的研究引发讨论。研究者 zivravid 指出，混合权重指标在约 20 层处达到峰值后开始变差，显示更深层的注意力逐渐失效。以 32 层模型为例，约四分之一的层已成为「死层」，不再产生有效贡献，这一现象引发对深层模型架构设计的关注。
2026-10-01 ~ 2026-10-01 · 2 条相关
- Block AttnRes 研究发现:模型深处近四分之一层是「死层」 — ziv_ravid · 2026-10-01
- 深度注意力坍缩论文：32 层模型约四分之一层已“死” — ziv_ravid · 2026-10-01