kalomaze:DeepSeek 把单 token KV 压进亚 KB 存储,训练服务却极痛苦
kalomaze · x · 2026-09-11
知名开源模型研究者 kalomaze 点评 DeepSeek 在 KV cache 效率上的最新进展:延续其一贯的效率路线,单 token 的 KV 存储成本被压到 1KB 以下。但他指出,这一极致压缩对应的训练与服务基础设施是「最折磨人、最痛苦」的工程形态——用推理端的极致省钱换取 infra 端极高的实现难度。
所属事件:DeepSeek 每 token KV 缓存压缩 54 倍，低至亚 KB(5 条相关)→
「Infra」频道最新
- CXMT 激进扩产:至 2028 下半年新建四座 DRAM 晶圆厂 — zephyr_z9 · 2026-09-11
- OpenAI CFO:一年前买的算力如今可溢价 3-5 倍卖出 — rohanpaul_ai · 2026-09-11
- NVIDIA 与 Red Hat 联手 vLLM 设 bounty:33B 以下开源模型实战黑客松 — NVIDIAAI · 2026-09-11
- 开发者质疑 OpenAI prompt_cache_key 设计或致算力大量浪费 — YouJiacheng · 2026-09-11
- SF Compute 签下 2.45 亿美元 Blackwell B300 算力长约 — mattshumer_ · 2026-09-11
- 马斯克转发 SpaceX CFO 演讲纪要:垂直整合+轨道算力布局 — elonmusk · 2026-09-11