DeepSeek V4.1 Flash 技术深读:死磕 KV cache 压缩造就高效前沿模型
nrehiew_ · x · 2026-09-11
nrehiew 发布 DeepSeek V4.1 Flash 技术笔记长线程,主线是「对 KV cache 压缩的偏执」如何造就一个超高效的旗舰级模型。线程覆盖:
- 45T 图文 token 的多模态预训练、自研图像编码器、模态级负载均衡
- YOCO 式 20 层 encoder + 20 层 decoder 设计,KV cache 减半
- 升级版压缩注意力 CSA:三种 KV 复用变体,稀疏 indexer 本身也稀疏
- head-wise Muon 优化器、196B 参数 Engram 配 Sinkhorn Balancing、QAT 实现 FP4 KV cache
- 训练基建:Siglip 式视觉编码器、shadow indexer、优化器状态分片
- 后训练完全数据驱动:合成多智能体轨迹 + checkpoint 合并
是理解 DeepSeek 最新模型工程取舍的高质量一手解读。
所属事件:DeepSeek V4.1 Flash 技术报告流出：死磕 KV cache 压缩(44 条相关)→
「模型」频道最新
- 前 Google 研究员团队发布 Fern 0.1:专供审计数据、调试训练的模型 — bneyshabur · 2026-10-26
- Fern 0.1 智能体基准首秀:SWE-Bench Verified 73.4,与前沿模型仍有差距 — bneyshabur · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- Mirendil 发布首个自研预训练模型 Fern,上下文最长 1000 万 token — bneyshabur · 2026-10-26
- 网友发现 Claude 疑似上线专用翻译界面 — BLCNYY · 2026-10-26
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26