Mooncake 作者日：Cloudflare 分享全舰队弹性 KV 缓存方案
michellechen · x · 2026-11-05
LMSYS 官方转发的 "Kastan Day" 活动中，Cloudflare 的分享主题为 "Every Spare Gigabyte: A Fleet-Wide Elastic Mooncake Cache"——由 Mooncake 作者 Kastan Day 讲解如何把全舰队闲置的内存与 SSD 汇聚成一个随模型请求负载弹性伸缩的共享 KV cache，用于 LLM 推理加速。"Kastan Day" 是社区为纪念该项目而设的活动日。
「Infra」频道最新
- 开发者在 Mac Studio 上把 Meta Muse Glimmer 30B 提速最高 21% — TimDarcet · 2026-11-05
- Mach 2 Medium 量化 Qwen 3.8：仅损 1.5% 省 10.9GB，超 Unsloth 同档 — pbaylies · 2026-11-05
- Reddit 实测:Tiel-Coder-35B MoE 本地跑速超 Qwen,256K 上下文 — zxspectrun · 2026-11-05
- 美国 63% 在建/规划数据中心所在州长承诺叫停新项目 — Catholic_Indian10 · 2026-11-05
- Stargate 将吞掉全球 40% DRAM 产能，月耗 90 万片晶圆 — TheZachMueller · 2026-11-05
- Baseten Router:省 72% 成本,通过率仅降 0.8 个百分点 — baseten · 2026-11-05