DepthBench：残差连接设计决定模型有效计算深度上限

Shiwei Liu 团队发布新论文并提出 DepthBench 基准，将「扩展有效计算深度」作为一个新的 scaling 维度。该基准在固定模型规模与预训练配方下系统改变宽深比，考察 AttnRes、mHC、KEEL、LNS、MoE 等约 10 种架构的计算深度。结果显示，标准预 LN 及多数 norm/scaling 变体在更深更窄的配置下表现受限，表明残差连接的设计决定了深度能否真正转化为有效算力。

2026-09-29 ~ 2026-09-30 · 2 条相关

• DepthBench 揭示：残差连接设计决定深度能否转化为有效算力 — Intelligent-Systems · 2026-09-29
• 新论文提出 DepthBench:残差连接设计决定模型有效计算深度上限 — teortaxesTex · 2026-09-30