DeepSeek mHC 架构引热议：残差流疑随深度收敛

前 DeepSeek 研究者 khazzz1c（Chonghan Liu）对 mHC（多残差流混合）架构的分析引发讨论，有实验者据此在 DeepSeek v4 相关实验中推荐改用 iHC。teortaxesTex 转引该分析并补充推想：网络或许全程需要多流，但跨流混合只需集中在前半段（如前 20 层），他基于现有结果认为 mHC 与其他方案效果相当。

2026-10-28 ~ 2026-10-28 · 2 条相关