小米 MiMo-V3 换新架构 HySparse2：预填充算力降 5 倍、KV 缓存缩 4.5 倍
teortaxesTex · x · 2026-09-23
小米 MiMo-V3 采用全新核心架构 HySparse2，针对 Agent 推理负载设计——每轮短动作返回长观察、上下文持续增长，使预填充成本、KV 缓存和检索精度同时成为关键路径。
相比 MiMo-V2.6 的 Hybrid-SWA 架构：
- 1M token 下预填充 FLOPs 降低 5.02 倍
- 1M token 下 KV 缓存缩小 4.5 倍
- MRCRv2、RULER-v2 检索成绩更好，AgentPPL 与 LongPPL 更低
技术评论者 teortaxesTex 指出：V2.6 的 Hybrid-SWA 是很 2025 的设计，HySparse 一代已如 NSA、MoBA 一样成为公开研究思路；HySparseV2 是 V4.1 更保守的版本，仍保留 YOCO 式全注意力骨干层。
所属事件:小米MiMo-V3将采用新架构HySparse2，预填充算力降5倍(2 条相关)→
「模型」频道最新
- Angaisb_:99% 评测零提升甚至倒退时,别拿「自己试试」当借口 — Angaisb_ · 2026-09-23
- 214 次 API 调用实测 Ling-3.0-flash-VL：小票核账抓出 30 元差错 — alifcoder · 2026-09-23
- 开源 Audio8 ASR Infinite:超低延迟 24/7 无限流式语音转写 — TheMoonMidas · 2026-09-23
- 「智能会变便宜」?开发者吐槽 AI 账单不降反涨 — zeeg · 2026-09-23
- 曝腾讯混元 V4.1 将采用 HySparse2 架构,中国模型架构再掀波澜 — teortaxesTex · 2026-09-23
- 小米 MiMo 2.6 Pro 用 Lean 4 完整形式化「周期三蕴含混沌」定理 — Dr_Singularity · 2026-09-23