DepthBench: Measuring How Residual Connections Enable More Computational Depth
Keyu Wang, Yangyi Huang, Jiale Kang, David González-Martínez, Weiyang Liu, Shiwei Liu
cs.CV, cs.AI, cs.LG
2026-09-26
在约400M等参预训练对照实验中扫描十种残差架构的宽深比，Pre-LN从16层验证loss 2.759升到32层2.782，HC从2.729降到2.699，Full AttnRes同样越深越好。
把Transformer做深，名义上等于让表示多走几步非线性变换。Pre-LN的残差通路只保证网络能训得动，并不保证后层在干活。后层更新会变弱、变冗余、跟前面越来越像，多出来的层加的是层数，有效计算没有跟上。这件事被叫作curse of depth（深度诅咒）：架构深度涨了，有效计算深度没跟上。
LNS、KEEL改归一化。HC把单条残差扩成多条可学习的流，AttnRes用注意力混合更早层的输出，连同mHC都报告过大规模上更好用。但各家评估的模型形状、训练配方和系统开销都不对齐，增益没法干净归因到「深度被真正用上了」。DepthBench要回答的问题很具体：固定参数预算时，哪种架构能把多出来的层变成有效计算，让深度成为一条靠得住的缩放轴。
实验把深度当成容量分配问题。在大约固定的参数量下，把预算在宽度和深度之间重分配，宽深比定义为dmodel/nlayer，从浅宽扫到深窄。深度效应就不会跟「模型更大、算力更多」绑在一起。
共享一套LLaMA-like backbone。400M档用16头MHA、RoPE、RMSNorm、SwiGLU；1.6B档换成Qwen3-1.7B配置的GQA（16查询头、8个KV头）。数据是FineWeb-Edu，token预算按Chinchilla的每参数20 token：400M用8B，1.6B用32B。序列长度2048，全局batch约1M token/步。每种架构单独扫学习率，每个形状都取该架构最优LR，避免形状差异来自没扫到合适步长。
十种架构分成四类：
主实验约400M、7个形状，宽深比从76.0（16层×1216维）到9.1（70层×640维）。另外三套对照：Transformer backbone固定约300M，去掉embedding占比随宽度变化的混淆；200M至500M多尺度；1.6B三个形状。层级别用角距离看表示是否趋同，用causal score看跳过某层后后续更新变了多少，用permutation score看交换两层后语言模型loss涨多少。统计只看网络后四分之三，以免前几层把全局均值淹没。
400M主实验里，Pre-LN和大多数归一化变体对加深不买账，最优点停在宽深比42.7到76.0这种偏浅宽的形状。HC和Full AttnRes则一路走到极端深窄。
| 架构 | 16层 val loss | 32层 val loss | 深度方向 |
| Pre-LN | 2.759 | 2.782 | 加深变差 |
| Full AttnRes | 2.751 | 2.718 | 加深变好 |
| HC | 2.729 | 2.699 | 加深变好 |
| Block AttnRes | 最优2.715（20层） | 2.730 | 中间最好 |
HC和Full AttnRes在固定总参数、固定backbone两种设置下，都继续改善到70层、宽深比9.1。backbone固定时，深窄模型总参数还更小，loss仍在降，说明赚的是宽深分配本身。派生变体没把这个趋势接住：mHC最优点在24层，没有稳定的加深收益。
下游用teacher-forced NLL看coding（MBPP、HumanEval）、STEM（SciQ、GPQA）、math（GSM8K、MATH-500）。更深的HC和Full AttnRes在STEM和math上NLL更低，Pre-LN和其他变体是弱趋势或非单调。
层诊断对上了loss曲线。L=32时，后四分之三层对里causal score>0.45的比例：Pre-LN约1%，Full AttnRes约16%，HC约7%。permutation score>0.15的比例：Pre-LN约8%，Full AttnRes约46%，HC约35%。Pre-LN后层表示角距离越来越小，像在对同一条残差流做微调；HC和Full AttnRes的表示变化更不平滑、更层特异。两者机制不同：Full AttnRes直接检索存下来的早层输出，HC靠多条残差流递归混合。
Block AttnRes有一段死区：按Kimi K3设定固定8个块边界，L=32时前8层自身计算几乎进不了混合，约四分之一网络空转。mHC残差乘积有效秩1.44到1.65，HC是2.53到2.81，双随机约束把长程路由收掉了。
深度不便宜。400M、序列4096、A100上，宽深比从76.0收到9.1，prefill FLOPs从约3.0涨到4.4 TFLOPs/序列，KV cache增大超过2倍。Full AttnRes峰值显存最高，HC的GPU-hour最高。
1.6B上Full AttnRes仍偏好更深；HC在500M最宽形状遇到梯度爆炸，1.6B的加深趋势也不再清楚。HC对优化超参更敏感，这和mHC当初要给它加约束的动机一致。
这是一篇把「残差怎么连」从训练稳定性问题改写成缩放轴问题的测量论文。在Pre-LN上把模型做深做窄，等参时大概率亏。想把深度当缩放轴，要换残差拓扑，当前证据最清楚的是HC和Full AttnRes。归一化修补（LNS、Sandwich-LN、DeepNorm、KEEL）在这套等参扫描里几乎帮不上忙。
它解释了为什么Kimi K3、DeepSeek V4这类模型开始动残差，也划清了派生方案的代价：mHC更稳，但把HC的深度收益削掉了；Block AttnRes更省，但块调度会让前若干层空转。没有免费的深度。loss降了，prefill、KV、峰值显存和GPU时间都在涨。
规模仍偏小。400M主结论清楚，1.6B只测了三个形状，HC已经开始不稳。把它当成「深窄一定更好」的施工图还早，更接近一张残差设计的对照表。
论文自己把效率代价写得很清楚，也承认HC在更大规模上对学习率敏感。1.6B没有像400M那样做架构专属LR扫描，统一用了5e-4，HC趋势变弱有多少来自欠调，分不开。
领域评估停在teacher-forced NLL，没有报告HumanEval pass@k或GSM8K准确率，NLL更低不等于会做题。层诊断的阈值（causal 0.45、permutation 0.15）是选定的，换阈值比例会变，论文用热力图补了定性图，但没有做阈值敏感性。主实验400M、FineWeb-Edu、2048上下文，长上下文下attention的T²Ld项会更重，深度的系统代价会被放大，这一点只做了FLOPs估算和4096 prefill实测，没有训长上下文模型。MoDA被放在跨层直达一类，结果却跟Pre-LN更像，论文没有深挖原因。