mHC 残差流疑随深度收敛,DeepSeek v4 实验者推荐 iHC 引发讨论
teortaxesTex · x · 2026-10-28
teortaxesTex 转引前 DeepSeek 研究者 khazzz1c(Chonghan Liu)关于 mHC(多残差流混合)架构的分析,并附上 Grok 翻译时丢失 arXiv 链接的失败案例。
- 核心观点:mHC 用双随机矩阵约束多条 Residual Stream 的混合,解决了数值稳定性问题,但 Numerical Stability ≠ Information Preservation——均值方向的信息虽不变,不同 Stream 之间的差异可能随网络深度衰减,多条残差流在纯混合路径上趋向同一均值。
- 实证吻合:这一分析与他们在 DeepSeek v4 模型上跑出的结论一致(mHC 最终收敛到接近单条 HC 的情况),也是其一直推荐 iHC 的原因之一。
- 权衡:若要保留 Stream 差异,需让混合矩阵接近置换矩阵,但会带来 Vertex Viscosity 和 Sinkhorn 收敛变慢的问题;论文讲的是 Stability、Information Preservation 与 Optimization Efficiency 之间的 trade-off。
- 保留意见:作者指出这不意味着完整 mHC 一定退化为单条 Stream(每层仍可注入新信息),真正的问题是增加的 Residual Stream 能在多深的网络中保留独立信息,实验尚无定论。
- 配图还展示了用 AI 辅助分析 DeepSeek-V4-Flash 43 层的结果:0-21 层残差混合重要(换成恒等矩阵 perplexity +41%),22-42 层学习到的 mixer 已接近恒等,深层关掉跨流混合几乎无损。
所属事件:DeepSeek mHC 架构引热议：残差流疑随深度收敛(2 条相关)→
「模型」频道最新
- 零训练登顶：577M 小模型借 PCA 填补零空间碾压 9B 音频嵌入 — JeanMichelRanu · 2026-10-28
- 阿拉伯语课程制作选型:Opus 5.5 与 Gemini 4 Argon 折扣价差 $6 — Various_Specific_623 · 2026-10-28
- 用户被 Google 全面封禁 Gemini 与 AI Studio,申诉被驳后求助无门 — immellocker · 2026-10-28
- Richard Socher 团队开源 Flint：40B 参数 2.5B 激活，Mac 本地跑编码 — altryne · 2026-10-28
- vLLM 语义路由团队联合 AMD 发布 Vela 3.0:最小 380M 零样本分类超 GPT-5-mini — vllm_project · 2026-10-28
- 误买 €104 ChatGPT 额度,6 天无人处理:用户困在 OpenAI 自动客服里 — NickTsl · 2026-10-28