论文：「深度幻觉」：Transformer 该更宽而非更深

xuanalogue · x · 2026-09-04

arXiv 论文《The Depth Delusion》提出架构条件化的 scaling law：最优深度按 DC^0.12 增长，最优宽度按 WC^0.34 增长，宽度应比深度快约 2.8 倍扩展。研究发现「临界深度」现象：超过 DcritW^0.44 后，继续加层即使参数增加也会推高 loss。实证覆盖 17M 到 7B 参数、30 种 Transformer 架构（R²=0.922）；在 7B 规模上，64 层 6.38B 模型比 32 层 6.86B 模型差 0.12 nats。结论：更深不一定更好，最优深度-宽度权衡在生产规模依然成立。讨论中还提到深度扩展可能受梯度衰减导致的宽度瓶颈制约。