xHC：突破Transformer残差流扩展瓶颈的新架构
rednote-hilab · hf · 2026-07-20
现有的超连接方法通常在扩展到 4 个并行残差流后，就会因性能收益递减和训练成本激增而受限。研究指出这主要受制于回写信息不足和残差混合成本呈立方级增长。
为此，该研究提出 xHC (Expanded Hyper-Connections)，首次实现了在 N>4 时的有效扩展。其核心设计包括：
- 时间特征增强：提供更丰富的回写信息。
- 稀疏残差流架构：在 N=16 个流中仅更新 k=4 个，同时保持对全局状态的密集访问。
在 18B 和 28B 的 MoE 模型上实验表明，xHC 带来了显著的下游性能提升且训练开销适中。此外，提出的 xHC-Flash 技术有效控制了显存带宽流量，使其开销降至与 N=4 的 mHC 相当的水平，让大规模残差流扩展真正具备实用性。
所属事件:xHC架构突破Transformer残差流扩展瓶颈(2 条相关)→
「研究」频道最新
- 显式稀疏 Yagzhev 构造把维度压到 19 — SirrahChan · 2026-07-22
- Git Re-Basin 揭示模型合并为何被置换对称性卡住 — CatAstro_Piyush · 2026-07-22
- 高维高斯样本集中在半径√d的薄壳上 — CatAstro_Piyush · 2026-07-22
- 语言模型到底“说”什么语言：一篇表征机制长文 — huopak · 2026-07-22
- 陶哲轩用ChatGPT解释Fable的“奇迹”多项式函数 — inductionheads · 2026-07-22
- LOTUS 用 looped Transformer 让 latent 推理更像 CoT — burny_tech · 2026-07-22