xHC：突破Transformer残差流扩展瓶颈的新架构
rednote-hilab · hf · 2026-07-20
现有的超连接方法通常在扩展到 4 个并行残差流后，就会因性能收益递减和训练成本激增而受限。研究指出这主要受制于回写信息不足和残差混合成本呈立方级增长。
为此，该研究提出 xHC (Expanded Hyper-Connections)，首次实现了在 N>4 时的有效扩展。其核心设计包括：
- 时间特征增强：提供更丰富的回写信息。
- 稀疏残差流架构：在 N=16 个流中仅更新 k=4 个，同时保持对全局状态的密集访问。
在 18B 和 28B 的 MoE 模型上实验表明，xHC 带来了显著的下游性能提升且训练开销适中。此外，提出的 xHC-Flash 技术有效控制了显存带宽流量，使其开销降至与 N=4 的 mHC 相当的水平，让大规模残差流扩展真正具备实用性。
所属事件:xHC架构突破Transformer残差流扩展瓶颈(2 条相关)→
「研究」频道最新
- hash n-gram 值嵌入助力 12×1024 GPT 刷新 30M 纪录至 3.2115 — RobertTLange · 2026-10-27
- MissionReport 基准:前沿模型写政府状态报告平均仅得约60分 — Exp_Mark · 2026-10-27
- TMLR 论文：更强推理不等于更充分披露，Agent 思考越多未必告知越全 — SharonYixuanLi · 2026-10-27
- Diamandis 详解 AI 癌症导航与 $100 基因测序如何缩小抗癌鸿沟 — PeterDiamandis · 2026-10-27
- EMNLP Oral 论文：免训练 KV 缓存驱逐实现 10 倍内存压缩 — yuz9yuz · 2026-10-27
- ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27