腾讯混元 Hy4 引用知乎研究：mHC 不如 Identity

tokenbender · x · 2026-08-29

DeepSeek mHC 论文提出使用双重随机矩阵约束残差连接。近期腾讯混元 Hy4 preview 引用了一篇知乎研究，该研究通过从头训练 Qwen3 1.7B 和 8B 模型发现，简单地设置 Hres 为单位矩阵（Identity）的效果优于复杂的 mHC 及其变体。

帖子作者 tokenbender 回顾了自己在今年 1 月的 mHC 实现研究，指出当时已提出 Hres 可调节 alpha 参数（0 到 1），但受限于算力仅在 250M 规模验证。他感慨腾讯 8 个月后的发布印证了 alpha=0（即 Identity）的大规模有效性。