xHC架构突破Transformer残差流扩展瓶颈

为解决 Transformer 残差流扩展受限的问题，新研究提出了 xHC（Expanded Hyper-Connections）架构。现有方法在扩展至4个并行残差流后常面临收益递减与立方级激增的训练成本。xHC 通过解决回写信息不足等问题，成功打破扩展瓶颈，实现更宽的网络扩展。

2026-07-20 ~ 2026-07-20 · 2 条相关

• xHC：突破Transformer残差流扩展瓶颈的新架构 — rednote-hilab · 2026-07-20
• xHC 让残差流扩展到 N=4 之外 — pmttyji · 2026-07-20