网传 DeepSeek-V4.1-Flash 技术报告：552B MoE 主打百万级上下文的 KV 缓存压缩
burkov · x · 2026-09-11
Andriy Burkov 称 DeepSeek-4.1-Flash 的技术报告已可在线阅读（注意：该发布未获官方确认，真实性存疑，请以 DeepSeek 官方渠道为准）。按帖中描述：
- 动机：长程 agent 工作负载成本攀升——长输入推高 prefill 计算，巨大 KV 缓存挤占高带宽内存与存储带宽，成为百万 token 上下文模型更便宜普及的主要障碍。
- 技术组合：Causal Encoder-Decoder 布局、Compressed Sparse Attention 2 中的跨层 KV 与索引复用、FP4 主 KV 存储、滑窗状态的有界重放方案。
- 规模：5520 亿参数骨干，在 45 万亿多模态 token 上预训练，随后进行常规 SFT。
- 目标是在推理、agent、视觉任务上性能提升的同时，把 KV 缓存压缩到远低于此前水平的多模态 MoE 模型。
所属事件:DeepSeek V4.1 Flash 技术报告流出：死磕 KV cache 压缩(44 条相关)→
「模型」频道最新
- 前 Google 研究员团队发布 Fern 0.1:专供审计数据、调试训练的模型 — bneyshabur · 2026-10-26
- Fern 0.1 智能体基准首秀:SWE-Bench Verified 73.4,与前沿模型仍有差距 — bneyshabur · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- Mirendil 发布首个自研预训练模型 Fern,上下文最长 1000 万 token — bneyshabur · 2026-10-26
- 网友发现 Claude 疑似上线专用翻译界面 — BLCNYY · 2026-10-26
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26