DeepSeek 每 token KV 缓存两年降至 890 字节,开源闭源差距之辩

teortaxesTex · x · 2026-10-27

针对「开源与闭源模型能力差距正在拉大」的说法,作者认为用基准成绩衡量落后月份并非好指标,而单位算力收益(per $ of compute)更能反映前沿差距。他指出 DeepSeek 从 V3.2 到 V4 再到 V4.1 的「每美元算力营收」提升甚至更陡,未必说明差距在扩大;当然美国头部模型用着大得多的绝对算力,差距确实存在。

配图来自 DeepSeek 论文:Global KV Cache Per Token 从 DeepSeek-V1 的 389,120 字节降至 V3.2 的 48,068(8.1×)、V4-Flash 的 3,514(13.7×)、V4.1-Flash 的 890 字节(3.9×);V4.1-Flash 的单 token 解码 FLOPs 在 4K 到 1024K 上下文间几乎保持恒定,大幅压缩长上下文成本。