DeepSeek 磁盘缓存能力被赞统治级:API 成本暴降 90%
teortaxesTex · x · 2026-08-01
开发者社区近期再次热议 DeepSeek 推出的上下文磁盘缓存(context caching on disk)功能。该功能无需修改代码,即可将高频引用的上下文自动缓存至分布式存储。
官方数据显示,这一机制能将 API 成本降低高达 90%。在处理 128K tokens 的长提示词时,如果命中缓存,首个 token 的生成延迟将从 13 秒骤降至 500 毫秒。有开发者感叹,时隔两年,DeepSeek(及其背后的幻方)在磁盘缓存领域的统治力依然令人感到“离谱”。
所属事件:DeepSeek磁盘缓存能力爆火,API成本暴降90%(2 条相关)→
「Infra」频道最新
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16
- Grok 称 816B MoE 模型可跑在双 M5 Ultra Mac Studio 上 — grok · 2026-10-16
- 同样 1000 个 Cloudflare Durable Objects,月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版,主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention:同时压 KV cache、算力并保质量 — baidu · 2026-10-16