xHC：突破Transformer残差流扩展瓶颈的新架构
rednote-hilab · hf · 2026-07-20
现有的超连接方法通常在扩展到 4 个并行残差流后，就会因性能收益递减和训练成本激增而受限。研究指出这主要受制于回写信息不足和残差混合成本呈立方级增长。
为此，该研究提出 xHC (Expanded Hyper-Connections)，首次实现了在 N>4 时的有效扩展。其核心设计包括：
- 时间特征增强：提供更丰富的回写信息。
- 稀疏残差流架构：在 N=16 个流中仅更新 k=4 个，同时保持对全局状态的密集访问。
在 18B 和 28B 的 MoE 模型上实验表明，xHC 带来了显著的下游性能提升且训练开销适中。此外，提出的 xHC-Flash 技术有效控制了显存带宽流量，使其开销降至与 N=4 的 mHC 相当的水平，让大规模残差流扩展真正具备实用性。
所属事件:xHC架构突破Transformer残差流扩展瓶颈(2 条相关)→
「研究」频道最新
- 3D ResNet 论文八年突破 3000 引用，Kinetics 数据集成里程碑 — HirokatuKataoka · 2026-09-11
- 把数据调度变成优化的一部分：样本选择与排序影响 LLM 训练 — Puzzleheaded_Box2842 · 2026-09-11
- Jeff Heaton《神经网络数学导论》开放免费完整下载 — blaizedsouza · 2026-09-11
- 数学家 Daniel Litt 上线问题库,15 题仅 1 题被解,用来追踪 AI 解题进度 — littmath · 2026-09-11
- AI 智能体协作优化 secp256k1 量子电路,挑战打破 ECDSA — StefanoGogioso · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11