xHC：扩展残差流的新论文
burny_tech · x · 2026-07-18
论文 **xHC: Expanded Hyper-Connections** 提出把 Transformer 的 residual stream 扩展为 **N 个并行流**，并通过稀疏更新和卷积式 writeback 解决扩展后信息不足与写回成本过高的问题。 作者报告：在 **18B 和 28B MoE** 模型上，xHC 带来稳定的下游性能提升；在 18B MoE 上，平均下游分数比 mHC 高 **4.0 分**。他们还指出，达到相同 loss 时，vanilla baseline 需要约 **1.50×** 计算量，mHC 需要约 **1.19×**，而 xHC 进一步提升了大规模 residual-stream 扩展的可行性。