小米剧透 MiMo-V3 新架构 HySparse2,预填充算力降 5 倍
小米 MiMo 负责人罗福莉发文提前披露 MiMo-V3 的核心架构组件 HySparse2,技术论文同步公布在 arXiv(编号 2609.26368),此时距 MiMo-V2.6 发布仅过去两天。HySparse2 面向多轮 Agent 推理负载设计,应对每轮短动作返回长观察、上下文持续增长导致预填充成本、KV 缓存和检索精度同时成为关键路径的问题,宣称百万 token 预填充计算量降低约 5 倍、KV 缓存占用缩至约 1/4.5。值得关注的是架构方向的明确转向与业内的对比解读。
已确认
- 小米官方(罗福莉)披露 MiMo-V3 将采用新架构 HySparse2,论文已在 arXiv 公开,编号 2609.26368
- 针对 Agent 长任务痛点做了多层改造,量子位提到其中之一为「预填充提前退出」:模型拆为前段 self-attention 等部分(帖内未展开全部细节)
- 宣称指标:百万 token 预填充计算量降约 5 倍,KV Cache 占用降至约 1/4.5
- MiMo-V2.6 仍使用 MiMo Hybrid-SWA 架构
尚未确认
- 帖内转述的技术细节不完整,具体机制需阅读原论文核实
- 有观察者(经 teortaxesTex 转发)指出小米架构在「跳代」演进:HySparse 与 NSA、MoBA 同属已发表研究思路的工程化,路径被指复刻 DeepSeek 从 NSA 到 DSA 的演进——此为观察者观点而非官方说法
为什么重要
- 官方在上一版发布仅两天后就剧透下一代架构,节奏罕见,显示小米在 Agent 推理效率方向上的激进投入
- 预填充算力与 KV 缓存是多轮 Agent 部署成本的核心瓶颈,若指标属实将显著降低长上下文 Agent 的推理成本
2026-09-23 ~ 2026-09-24 · 5 条相关
一手来源
- 小米剧透 MiMo-V3:HySparse2 架构让百万 token 预填充计算量降约 5 倍 — 量子位 ·
- 小米披露MiMo-V3架构HySparse2:KV Cache占用降至约1/4.5 — 智东西 ·
- 小米 MiMo-V3 换新架构 HySparse2:预填充算力降 5 倍、KV 缓存缩 4.5 倍 — teortaxesTex ·
- MiMo-V3 将换新架构,核心组件 HySparse2 论文今日公开 — Recoil42 · 2026-09-23
- 【源头】小米 MiMo-V3 换新架构 HySparse2:预填充算力降 5 倍、KV 缓存缩 4.5 倍 — teortaxesTex · 2026-09-23
- 小米 MiMo 稀疏架构升级,业内指路径复刻 DeepSeek 的 NSA 到 DSA — teortaxesTex · 2026-09-24
- 【源头】小米披露MiMo-V3架构HySparse2:KV Cache占用降至约1/4.5 — 智东西 · 2026-09-24
- 【源头】小米剧透 MiMo-V3:HySparse2 架构让百万 token 预填充计算量降约 5 倍 — 量子位 · 2026-09-24