小米 MiMo 下一代转向因果编码器-解码器，预 fill 计算省 5 倍

joey00072fp8 · x · 2026-11-08

SemiAnalysis 透露，继 DeepSeek V4.1 Flash 之后，小米 MiMo 的下一代模型也将转向因果编码器-解码器（causal encoder-decoder）架构 HySparse2。

核心设计：prompt 只经过 49 层中的 25 层（因果编码器，含 SWA×12 + 全注意力 + SWA×12），解码器的 KV 由编码器隐状态投影而来（KV Bridging），四个 cross-decoder 全注意力层各持独立 KV 投影，每层周围配 5 个稀疏注意力层，每个 FA 块内复用 KV 与选择索引（每块选 1024 全局 + 128 近期 token）。

在 1M 上下文下对比 MiMo-V2：prefill 计算量减少 5 倍，KV 缓存缩小 4.5 倍。配图为 80B-A3B 研究配置下的注意力与缓存复用示意图。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →