小米披露MiMo-V3架构HySparse2：KV Cache占用降至约1/4.5
智东西 · wechat · 2026-09-24
小米 MiMo 负责人罗福莉发文提前披露 MiMo-V3 的核心架构组件 HySparse2，技术论文同步公布，距 MiMo-V2.6 发布仅过去两天。
HySparse2 针对多轮 Agent 推理的三大痛点：长输入 Prefill 计算量大、KV Cache 占用高、长上下文检索难。核心是两级 KV 共享（KV Bridging + KV Reuse），让 Prefill 只需跑完前半部分模型即可退出——49 层模型部署时 Prefill 节点只需前 25 层，权重接近减半；同时把 Block 级稀疏选择改为 Token 级，可跨上下文精准选取相关 Token。
在 100 万 Token 上下文下，相比 MiMo-V2.6 的 HybridSWA，HySparse2 的 Prefill 计算量降至约 1/5，KV Cache 占用降至约 1/4.5（2.69GB 对 12.09GB）；经后训练后 RULER-v2 得分比 HybridSWA 高 18.65 个百分点，AgentPPL 和 LongPPL 均更低。通用能力与基线大致相当，属效率与能力的架构取舍。
所属事件:小米剧透 MiMo-V3 新架构 HySparse2，预填充算力降 5 倍(5 条相关)→
「Infra」频道最新
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- OpenRouter 新路由算法见效:GLM 5.3 Flash 首字延迟降 40%、单价降 17% — AccBalanced · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12