Block AttnRes 研究发现:模型深处近四分之一层是「死层」
ziv_ravid · x · 2026-10-01
评论者 zivravid 就一项关于 Block Attention-Residual(Block AttnRes)架构的研究发表观察:
- 深度混合权重峰值在 20 层,超过后反而变差。
- 浅层中,深度混合几乎给层自身输出零权重,等于只是在反复重读 embedding。
- 在 L=16/24/32 的模型中分别发现 2、5、8 个「死层」(dead layers);到 32 层时,网络约四分之一是死的。
这提示此类架构在加大深度时存在明显的层冗余/失效问题,对架构设计与 scaling 有直接参考价值。
所属事件:研究称深度模型存在注意力坍缩 近四分之一层变死层(2 条相关)→
「模型」频道最新
- ChatGPT 代码项目里只能用 5.6，普通对话却有 Sol 6.1 — zeeg · 2026-10-01
- GPT-6 Astra Ultrafast 速度已逼近 Gemini 3.5 Flash Lite — Angaisb_ · 2026-10-01
- 同一个 Llama 3.2 1B 为何有不同文件大小？量化的入门讲解 — night-alien · 2026-10-01
- 实测 34 个 LLM API 两个月,抓到 DeepSeek 暗改推理成本涨 3 倍 — Electrical_Rip892 · 2026-10-01
- 蚂蚁 Ling-3.1-flash：560B 总参 25B 激活，即将开源 — _AndrewZhao · 2026-10-01
- Grok 4.8 现身 xAI 官方仓库，发布准备中或还需一两周 — mark_k · 2026-10-01