腾讯混元 Hy4 引用知乎研究：mHC 不如 Identity
tokenbender · x · 2026-08-29
DeepSeek mHC 论文提出使用双重随机矩阵约束残差连接。近期腾讯混元 Hy4 preview 引用了一篇知乎研究，该研究通过从头训练 Qwen3 1.7B 和 8B 模型发现，简单地设置 Hres 为单位矩阵（Identity）的效果优于复杂的 mHC 及其变体。
帖子作者 tokenbender 回顾了自己在今年 1 月的 mHC 实现研究，指出当时已提出 Hres 可调节 alpha 参数（0 到 1），但受限于算力仅在 250M 规模验证。他感慨腾讯 8 个月后的发布印证了 alpha=0（即 Identity）的大规模有效性。
「研究」频道最新
- 1988 年首个反向传播 CNN 已获 FDA 批准用于乳腺 X 光检查 — SchmidhuberAI · 2026-08-29
- pMLX 优化 Qwen 与 GLM 模型：专家换页技术实现 37GB 内存运行 — EyalToledano · 2026-08-29
- 新框架 PILOT 让长时 Agent 运行中实现自我改进 — badumtsssst · 2026-08-29
- Dactyl：利用 Agent 舰队自动化开发 iOS 渲染引擎 — alexisgallagher · 2026-08-29
- 机器人也能从失败中学习？FACT 模型用失败数据提升策略表现 — ZeYanjie · 2026-08-29
- 神经网络基础：使用 PyTorch 与 TF 进行图像分类 — Al_Grigor · 2026-08-29