小米 MiMo-V3 换新架构 HySparse2：预填充算力降 5 倍、KV 缓存缩 4.5 倍
teortaxesTex · x · 2026-09-23
小米 MiMo-V3 采用全新核心架构 HySparse2，针对 Agent 推理负载设计——每轮短动作返回长观察、上下文持续增长，使预填充成本、KV 缓存和检索精度同时成为关键路径。
相比 MiMo-V2.6 的 Hybrid-SWA 架构：
- 1M token 下预填充 FLOPs 降低 5.02 倍
- 1M token 下 KV 缓存缩小 4.5 倍
- MRCRv2、RULER-v2 检索成绩更好，AgentPPL 与 LongPPL 更低
技术评论者 teortaxesTex 指出：V2.6 的 Hybrid-SWA 是很 2025 的设计，HySparse 一代已如 NSA、MoBA 一样成为公开研究思路；HySparseV2 是 V4.1 更保守的版本，仍保留 YOCO 式全注意力骨干层。
所属事件:小米剧透 MiMo-V3 新架构 HySparse2，预填充算力降 5 倍(5 条相关)→
「模型」频道最新
- Google 员工晒 AI Studio 新设计，意外提及未发布的 Gemini 4 Carbon — ammaar · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- DeepMind Code Summit 演讲放话：推理速度将迎大幅提升 — altryne · 2026-11-12
- 不让模型自己写一个字：用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12
- Vals AI 分析 20 万次跑分：14 个模型推理会骂脏话，小米 MiMo 最脏 — ziqiao_ma · 2026-11-12
- 26B MoE 决策小模型 CPU 可跑，得分超 Jev 1.13 — gauravapiscean · 2026-11-12