小米MiMo长文本推理优化实践
burny_tech · x · 2026-07-19
探讨了混合滑动窗口注意力机制如何在生产环境中大幅降低长上下文推理的成本，并以小米 MiMo-V2.5 模型为例展示了具体工程实现。
核心优化在于重构 KV Cache 系统，使 SWA 仅保留近期窗口而非全部上下文，同时安全地跨请求复用前缀。结合更好的缓存路由、分布式缓存和多模态预处理，最终实现了：
- 93%+ 的 KV 缓存命中率
- 预填充速度提升约 40%
- 解码 KV 容量扩大约 5 倍
- 编码器吞吐量翻倍（2x）
「Infra」频道最新
- Claude 近半营收来自云市场渠道，占比三年内从 11% 涨至 47% — BenBajarin · 2026-10-26
- 降价即放量：Anthropic 10 月 token 用量暴涨，年底 ARR 或破 1000 亿美元 — GavinSBaker · 2026-10-26
- Alex Banks：电力是 GPU 上线瓶颈，真正的风险是需求先降温 — thealexbanks · 2026-10-26
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26