DeepSeek V4.1-Flash 发布:KV cache 压至每 token 890 字节
DeepSeek 发布 V4.1-Flash,一个多模态 API 模型,主打更快推理、更高吞吐与更低价格。核心亮点是长上下文效率:通过架构改动将 KV cache 显存压缩到每 token 仅 890 字节,直接支持更大上下文窗口并显著降低推理内存需求与成本,发布后迅速引发社区拆解与实测。
已确认
- 「Prompt Engineering」频道逐层拆解模型架构,指出核心压缩手段包括 CED 分离、CSA2 层共享与 4-bit 量化重放,并评测称其可能是目前最好的本地视觉模型。
- TensorSharp 开源推理引擎为 V4.1 Flash 新增专用执行路径,作者 fuzhongkai 在 8×A40(layer split、F16 KV cache、65K 上下文)上实测:Q2K 预填充 533–539 tok/s、单流解码约 40 tok/s;Q4KM 预填充约 45x tok/s(材料截断)。
- Reddit 用户 @justlikemedics 分析认为该方法可显著降低推理服务的内存需求与成本。
- 博主 @thione 补充称 V4.1-Flash 延续 DeepSeek 性价比路线,具体定价与基准数据需见官方发布页。
尚未确认
- 具体定价与官方基准数据尚未在帖子材料中给出,需以官方发布页为准;Q4KM 预填充数据在材料中截断。
为什么重要
- KV cache 是长上下文推理的最大内存瓶颈,压缩到每 token 890 字节意味着同等硬件可承载更长上下文与更高并发,直接降低部署成本。
- TensorSharp 等开源生态快速跟进适配,说明该模型在本地/自托管场景已有可用工具链,具备实际落地价值。
2026-09-13 ~ 2026-09-15 · 6 条相关
一手来源
- DeepSeek V4.1 Flash 将 KV cache 压到每 token 890 字节 — Prompt Engineering ·
- DeepSeek V4.1 Flash 八卡 A40 实测:自研推理引擎跑到 40 tok/s — fuzhongkai ·
- DeepSeek 发布 V4.1-Flash:多模态 API 模型,更快推理与更低价格 — thione ·
- 【源头】DeepSeek V4.1 Flash 八卡 A40 实测:自研推理引擎跑到 40 tok/s — fuzhongkai · 2026-09-13
- TensorSharp 引擎实测:DeepSeek V4.1 Flash 在 8×A40 上预填充破 500 tok/s — fuzhongkai · 2026-09-13
- DeepSeek V4.1 Flash 把 KV Cache 压到每 token 890 字节 — Prompt Engineering · 2026-09-13
- DeepSeek 发布 V4.1-Flash KV 缓存压缩法,大幅降低推理内存成本 — justlikemedics · 2026-09-13
- 【源头】DeepSeek V4.1 Flash 将 KV cache 压到每 token 890 字节 — Prompt Engineering · 2026-09-14
- 【源头】DeepSeek 发布 V4.1-Flash:多模态 API 模型,更快推理与更低价格 — thione · 2026-09-15