SimpleHC：去掉残差混合，仅 2.4% 额外训练时间逼近 mHC 性能

dots-studio · hf · 2026-11-13

上海交大、小红书 Dots Studio、北大等机构发布对 Hyper-Connections 架构的系统研究。论文发现两个有效交互组：不带混合的 learnable read/write gating，以及固定门控下的无约束混合——任一单独使用即可达到 mHC 水平；对扩展残差状态的重复访问则是训练开销的主要来源。据此提出的 SimpleHC 移除残差混合、用共享内存访问简化执行：层内门控共享组入口状态，支持批量读取与延迟写入，标量修正精确保留子层输出贡献。在最大测试规模（15B 到 30B MoE）上，SimpleHC 端到端训练时间仅比 vanilla 残差基线多 2.4%，性能与 mHC 相当，且标准训练下梯度动态更平滑、稳定性更好。