探讨 mHC 架构：跨流混合或只需在网络前半段进行
teortaxesTex · x · 2026-10-28
teortaxesTex 提出对 mHC（多流残差混合）架构的推想：也许网络全程需要多流，但跨流混合只需放在前半段（如前 20 层）。他基于目前看到的结果认为 mHC 与其他方案相比有竞争力，因此深层残差混合可能没什么用处，早期多流计算就已足够——并据此推测这可能是某模型 V4.1 偏「浅」的原因之一。另附一条观察：Grok 翻译功能出现失效模式，直接丢掉了 Arxiv 链接。
所属事件:DeepSeek mHC 架构引热议：残差流疑随深度收敛(2 条相关)→
「研究」频道最新
- 深度网络布尔函数可学习性论文再引关注 — luislamb · 2026-10-28
- Tara 与 Mila 推出 CATCH：约 200 例对抗训练让 LLM 学会诚实 — Mila_Quebec · 2026-10-28
- Avalon-M1 用集体奖励 RL 训练 LLM 组建 Agent 组织,平均分 33.5%→45.7% — RobertTLange · 2026-10-28
- 谷歌开源 EmbeddingGemma 2:744M 多模态嵌入模型胜过 12 倍大模型 — dair_ai · 2026-10-28
- 个人从零训练 21B MoE(激活 3.36B),仅用 70B tokens 观察到涌现现象 — Prestigious-Taste-63 · 2026-10-28
- ShadowBench:19 个 VLM 判断影子物理一致性几乎全靠猜 — HirokatuKataoka · 2026-10-28