DepthBench 揭示：残差连接设计决定深度能否转化为有效算力
Intelligent-Systems · hf · 2026-09-29
新基准 DepthBench 在固定模型规模与预训练配方下，系统改变宽深比，考察 10 种架构的「计算深度」。
- 标准预 LN 及多数 norm/scaling 变体在更深更窄时收益甚微甚至性能下降
- HC 与 Full AttnRes 即使在极端深窄形状下也持续提升，且收益从预训练损失延伸到领域任务表现
- 层级分析显示其收益与更有效利用新增层相关
结论：残差连接设计是深度能否成为有效 scaling 轴的关键决定因素。
「研究」频道最新
- ColNanoVDR 免文档蒸馏多向量检索,149M 小模型保住 95% 检索精度 — nanovdr · 2026-09-29
- 重设计 DiT 残差连接:训练迭代减少 1.73 倍,FID 降至 1.39 — NationalUniversityofSingapore · 2026-09-29
- Imprint Reader:让模型用自然语言解读自身权重更新 — Guanxu Chen · 2026-09-29
- 上交大 GeoVerse:在几何潜空间合成世界一致的新视角 — SJTU · 2026-09-29
- 腾讯混元给出无编码器多模态预训练 Scaling Law:10^22 FLOPs 处反超 — Tencent-Hunyuan · 2026-09-29
- 表征工程何时有用?LLM 安全控制与监控的公平对决 — Tianyi Guan · 2026-09-29