趋境科技详解:用 Mooncake 把 KVCache 池化,托起日均万亿 Token 工厂
量子位 · wechat · 2026-09-11
趋境科技/KVCache.AI 公开其日均万亿级 Token 生产系统的推理架构:某头部万亿参数模型的生产实践中,单台算力 Token 生产效率自 2026 年春节以来提升超 3 倍,总产能增长超 30 倍,核心是用 MooncakeStore 将 KVCache 从单机资源升级为集群级共享池。
- 背景:Agentic workload(编码 Agent、多轮推理、工具调用)反复复用长上下文,一次 Cache Miss 可能意味着数十万 Token 重算;万亿规模下几个百分点的算力浪费都是巨额成本
- 架构:Prefill-Decode 分离,仅 Prefill 节点开 SGLang HiCache;MooncakeStore 以独立进程部署,把分散的 Host DRAM 组成分布式缓存池,RDMA 传输,800Gbps 网卡;推理引擎与缓存系统解耦,可独立升级
- 调度:基于 SMG 的集群调度,综合本地命中率、负载、请求特征决策,避免 CacheLocality 追求导致的热点堆积;Kubernetes 层用 RBG 统一编排
- 性能:KVCache 命中率稳定在 90% 以上,平均批量读取延时 <50ms,靠异步 prefetch 把远端读取隐藏在计算之后
- 踩坑与优化:Master 的 LRU eviction 长占 shard 写锁导致延迟飙升——移出耗时操作、锁粒度从 shard 降到对象级;节点扩缩容的内存申请与 RDMA 注册耗时——优化后获数倍提升,并支持大页
- 全过程采用小规模验证→长稳测试→灰度→全量的逐级放大流程
「Infra」频道最新
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28
- AI 代码潮致 CI 需求暴涨，Celesto 一周 CI 分钟数增长 9 倍并分享扩容细节 — aniketmaurya · 2026-10-28
- DeepMind 团队发布 Rust 虚拟机 Capsem，为 AI Agent 提供 hardened 隔离环境 — rakyll · 2026-10-28
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28
- 实测 11 种视频超分方案：本地免费、Topaz 与云端全横评 — lopas99 · 2026-10-28
- 不稳定测算CEO站台解耦算力:要让AI迎来「宽带时刻」 — beffjezos · 2026-10-28