研究：DeepSeek mHC 四条残差流只重度使用两条，深层混合矩阵近恒等
jiqizhixin · x · 2026-10-05
一篇新论文《How Does mHC Use Its Residual Streams? Selective Routing and Near-Identity Mixing》分析了 mHC 架构（如 DeepSeek-V4-Flash 所用，维护四条残差流，每个 token 有独立读写权重）的实际运作方式：
- 路由高度选择性：训练后，同一 Attention 或 FFN 子层内，主流的选择在不同 token 间高度一致，读写权重集中在约四条流中的两条，四条流并未被均匀使用。
- 混合矩阵随深度退化：浅层仍有跨流混合，但到第 22–42 层，残差混合矩阵几乎退化为恒等矩阵。
- 干预实验证实：移除最弱的读写路径，六任务平均分数最多下降 0.38 分；替换深层混合矩阵的影响同样有限。
「研究」频道最新
- MusicArena 上线：像 Chatbot Arena 一样众包评测 AI 音乐生成 — ycombinator · 2026-10-05
- 模态动力学字体:用有限元振动模式驱动冻结视频扩散做字形动画 — Maham Tanveer · 2026-10-05
- 4B 参数国际象棋模型 Queen 达特级大师水平,还能解释走法 — Adithya Bhaskar · 2026-10-05
- WEFT 框架:全系统协同进化,把工具使用后训练规模化到 35B — nex-agi · 2026-10-05
- FailBank 把运行时安全反馈变成长期监督,VLA 成功率最多提 25.4 点 — notredame · 2026-10-05
- Salesforce 实测：AI 智能体单轮任务成功率仅 58% — aakashgupta · 2026-10-05