SimpleHC 将 Hyper-Connections 训练开销从约 59–100% 降到 2.4%

SonglinYang4 · x · 2026-11-09

新 arXiv 论文系统研究 Hyper-Connections(HC)架构设计,指出现有实现(如 DeepSeek mHC)在 PyTorch 下会带来 59–100% 的额外训练开销,根源在于对扩展残差状态的重复访问。

论文发现两个有效交互组:不带混合的可学习读写门控、或固定门控下的无约束混合,任取其一即可达到与 mHC 相当的性能。据此提出 SimpleHC:去掉残差混合,通过共享内存访问简化执行——各层门控共享组入口状态,支持批量读取与延迟写入,标量修正精确保留前序子层输出。

结果:在最大测试宽度下,SimpleHC 相对 vanilla residual 仅增加 2.4% 端到端训练时间;从 15B 扩展到 30B MoE 模型仍保持与 mHC 相当的性能。Songlin Yang 补充指出,该做法本质上等价于 chunkwise 线性注意力——块内可并行计算 ((q^T k)v),无需显式物化扩展隐状态。

原文链接 →

「模型」频道最新

• Meta 用旗舰 Muse Wonder 蒸馏日常模型，忘事少 2.4 倍 — xiaohu · 2026-11-09
• 测试目录日报:OpenAI 侦察模型 Wyvern 现身 Devin,支持百万上下文 — testingcatalog · 2026-11-09
• Qwen 被训练成持续重拟合「幸福探针」 — Sauers_ · 2026-11-09
• Qwen 预热海报暗示 Qwen4 将至:「Think Begins」北冥有鱼其名为_ — Ok-Shower7286 · 2026-11-09
• 爆料称 Opus 5.5 仅 10B 激活参数，用户已用 handover.md 迁移到 Qwen-4-Flash — teortaxesTex · 2026-11-09
• 「基准像香水：能闻不能喝」——公开榜单该信多少？ — intellectronica · 2026-11-09

更多「模型」频道 AI 资讯 →