thdxr 解析 DeepSeek 高缓存命中率：千项细节优化堆出来的护城河

thdxr · x · 2026-09-19

mitsuhiko 提问：为什么 DeepSeek 能做到远超同行的聚合缓存命中率，难点到底在分布式缓存本身，还是缓存复用特别难？thdxr 回应称，缓存命中率更多反映的是整体工程优化水平：DeepSeek 做了上千件小优化，从数据中心建设到软件栈，任何一环被跳过或做错都会掉链子，而且整套系统高度针对自家模型和产品定制。他补充说，即便租到 1000 张 GPU（本身就很难），通用配置下也几乎无法复现这种效果；OpenAI 和 Anthropic 同样出色，但他指的是可供第三方自托管托管托管托管的模型。