小米剧透 MiMo-V3:HySparse2 架构让百万 token 预填充计算量降约 5 倍
量子位 · wechat · 2026-09-24
MiMo-V2.6 刚发布,小米罗福莉就剧透了 MiMo-V3 的核心新架构 HySparse2,针对 Agent 长任务中工具返回内容动辄数万字、预填充成本持续累积的痛点做了三层改造:
- 预填充提前退出:模型拆为前段 self-decoder 与后段 cross-decoder,前半段用全注意力+滑动窗口,后半段用全注意力+稀疏注意力,中间以 KV Bridging 只连接全注意力层。新材料只需走完前段预填充即可停止;配合预填充/生成分离部署,49 层模型中预填充节点只需放前 25 层,内存接近减半。
- token 级稀疏选择:把上一代按 64-token 块选择改为按单个 token 挑选(选 1024 个全局 token+强制保留最近 128 个),消融实验中 RULER-v2 提升 6.57、双线索 MRCR-v2 提升 8.14 个百分点。
- 两级 KV 共享:稀疏层复用全注意力层的 KVCache 与 token 选择结果,去掉独立滑动窗口分支。
效果:80B 总参、每 token 激活约 3B 的 MoE 配置下,100 万 token 上下文处预填充计算量约为 HybridSWA 的 1/5.02,FP8 下 KVCache 从 12.09GB 降至 2.69GB(约 4.5 倍)。256k 上下文的 RULER-v2 拿到 58.45,远超 HySparse 的 32.61 和 HybridSWA 的 35.74;普通知识与代码能力则与对照大致持平。论文评估到 256k,实际延迟与任务表现仍待 MiMo-V3 发布后验证。
所属事件:小米剧透 MiMo-V3 新架构 HySparse2，预填充算力降 5 倍(5 条相关)→
「模型」频道最新
- Google 员工晒 AI Studio 新设计，意外提及未发布的 Gemini 4 Carbon — ammaar · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- DeepMind Code Summit 演讲放话：推理速度将迎大幅提升 — altryne · 2026-11-12
- 不让模型自己写一个字：用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12
- Vals AI 分析 20 万次跑分：14 个模型推理会骂脏话，小米 MiMo 最脏 — ziqiao_ma · 2026-11-12
- 26B MoE 决策小模型 CPU 可跑，得分超 Jev 1.13 — gauravapiscean · 2026-11-12