DeepSeek 磁盘缓存能力被赞统治级:API 成本暴降 90%

teortaxesTex · x · 2026-08-01

开发者社区近期再次热议 DeepSeek 推出的上下文磁盘缓存(context caching on disk)功能。该功能无需修改代码,即可将高频引用的上下文自动缓存至分布式存储。

官方数据显示,这一机制能将 API 成本降低高达 90%。在处理 128K tokens 的长提示词时,如果命中缓存,首个 token 的生成延迟将从 13 秒骤降至 500 毫秒。有开发者感叹,时隔两年,DeepSeek(及其背后的幻方)在磁盘缓存领域的统治力依然令人感到“离谱”。

所属事件:DeepSeek磁盘缓存能力爆火,API成本暴降90%(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →