深度解析 DeepSeek-V4.1 Flash:把 KV Cache 压缩推到极限
teortaxesTex · x · 2026-09-17
博主 zartbot 发布了对 DeepSeek-V4.1 Flash 技术报告的长篇架构解析,认为其含金量足以称为「DeepSeek-V5 Flash」。
核心背景:V4.1 Flash 上线后实测速度接近 420 tokens/s,随后 DeepSeek 宣布 V4 Pro 系列全部下线,说明这不只是后训练小版本,而是架构级换代。
关键优化点:
- Prefill 计算优化:借鉴 YOCO 思路,全模型 40 层,Prefill 只需过 20 层,Prefill 激活参数仅 8B,Decode 激活 16B;
- KV Cache 压缩:从 GQA 式头数压缩、CSA 式分块压缩,到本文的 CSA2 跨层压缩,并优化 Sparse Attention 的 indexer 计算;
- 数值精度:采用 FP4 KV Cache;
- 动机是长程 Agent 工作流使上下文持续变长、工具调用带来巨大 prefill 压力,HBM 与外置 SSD 的 KV Cache 存储压力已成为 scaling 瓶颈。
所属事件:DeepSeek V4.1 Flash 架构重置：KV 缓存缩至 1/4(5 条相关)→
「Infra」频道最新
- B200/H100 租金周内创新高，年内涨 47% 和 31% — TheZachMueller · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Mac 端 PyTorch 10 月下载量达 329 万,环比涨 20.5% — LysandreJik · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02