DeepSeek V4.1 Flash 技术报告流出：死磕 KV cache 压缩

DeepSeek V4.1 Flash 的技术报告在网上流出，@burkov 提醒该发布未获 DeepSeek 官方确认，真实性存疑。报告描述了一个以 KV cache 压缩为核心设计目标的旗舰模型：@stochasticchasm 读后指出基准成绩高得惊人、KV cache 较 DSV4-Flash 缩小 4 倍且训练更稳定；@nrehiew 发布系列长文逐层拆解，@demianai 转发的 Mhr1036 分析与 @teortaxesTex 转发的 arjunkocher 架构详解给出互补视角。社区共识是：该模型通过架构、算法、训练到推理部署层面的系统性创新，同时压低了长上下文的计算与内存开销。

已确认

• 模型为 552B 参数 MoE 骨干，支持百万 token 上下文窗口；Mhr1036 指出长上下文带来「为保留上下文付费」的第二重成本，而该设计同时压缩计算与内存两端；@stochasticchasm 称 KV cache 相比 DSV4-Flash 缩小 4 倍，对推理显存与长上下文成本影响显著
• 核心架构为非对称因果编码器-解码器（CED）：40 层网络分为下半 20 层 encoder 与上半 20 层 decoder；@nrehiew 解释这是针对 prefill 昂贵问题的方案——下半层生成 KV cache，经逐层投影后共享给上半层，可理解为一种 YOCO 式 decoder-decoder 结构，将 KV cache 减半；arjunkocher 的拆解确认了非对称设计并提到 CSA2 注意力。@stochasticchasm 细读后补充修正：解码器并不能在多层上对编码器 KV 做注意力，只是对最终编码器状态做周期性读取，且并非标准交叉注意力
• 据 @altryne 转述 Chris Alexiuk 的说法，prefill/decode 的分离做法被直接「烘」进了模型权重本身，而不只是停留在推理服务栈层面，进一步印证其推理优先的设计取向
• 全局注意力本质是升级版压缩注意力：三种 KV 复用变体（不复用、复用早层 KV 等）都先在小 KV 上跑 indexer 做选择，再与窗口化 KV 拼接后进入注意力
• 注意力 indexer 本身也是稀疏的：第一个 full mode indexer 先选出候选，后续层用这些候选打分，形成分层筛选结构
• 优化器采用 head-wise Muon（含视觉模型部分），并含 196B 参数 Engram 组件、配合 Sinkhorn 平衡；sparse attention 无需 warmup、从头训练；@stochasticchasm 转述官方宣称训练过程明显更稳定。他还注意到该模型没有任何 input/output 优化参数、仅 LM 头做 weight decay（他原以为完全没有 Adam 参数，后更正为仍保留少量），并判断 Muon「正在成为训练默认优化器」
• Engram 细节（@stochasticchasm）：查找表大小选用互不相同的素数、使用 4-gram、疑似以 fp8 存储
• KV cache 同样经过量化感知训练（QAT），@stochasticchasm 认为这解释了该模型在 fp4 KV cache 精度下比其他模型表现更好，对端侧/低精度推理部署有参考价值
• 多模态方面：45T 图文 token 预训练、自研 Siglip 风格图像编码器、模态级 load balancing（@nrehiew 认为这让人联想到原始 Chameleon）
• RL 训练基建（@nrehiew 拆解）：精心的 dispatch 策略消除长尾停顿；从旧 checkpoint 做 router replay；针对短补全在训练早期造成 off-policy 的问题，采用数据集层面设上限等控制手段；配备 40+ 教师 OPD。@nrehiew 还称新模型效率达到「Sol/Opus 级别」，认为跑分数字「insane」
• 沙箱与数据（@nrehiew）：自研 orchestrator 在计算节点间放置沙箱并本地检查容量瓶颈，NUMA 域内每个 VM 支持单节点 2500 个并发沙箱；agent 轨迹数据首次明确由真实合作伙伴的使用模式启发，通过系统中多个 agent 合成生成，并配合 checkpoint 合并的后训练策略
• 推理侧（@nrehiew）：大量融合 kernel，prefill 仅执行 15 个 kernel、decode 仅 11 个；借 SWA 降低 KV 缓存，SWA 缓存仅保留在每条 user/assistant 消息级别（分钟级缓存）。@nrehiew 还指出 V4.1 是他见到的第一个拥有「数值化 reasoning effort 参数」的模型，该参数直接影响长度惩罚，用户可用数值直接调节推理深度与输出简洁度的权衡
• 训练基建：一个模态计算时可并行 all-gather 另一模态的特征，对超长多图序列应用 CP（context parallelism）；部署稀疏 indexer 专用集群
• 架构设计几乎完全以推理效率为目标：@stochasticchasm 称该设计对 prefill-decode 分离（PD disagg）架构友好，大批量 prefill 下利用率不错；另有评论认为 v4 中 CSA/HCA 双压缩频率交替设计缺乏解释，不如纯 CSA2 方案合理
• @stochasticchasm 还指出 DeepSeek 似乎正在打破「V<N> = 全新预训练」的命名惯例（此前它是少数严格按此划分版本的厂商），有评论认为这一代像是 V4 架构的简化版；作者预告后续会将其与 YOCO 架构做对比，并对报告中 KV cache 图表的对比方式存有疑问

尚未确认

• @burkov 强调该技术报告的发布未获 DeepSeek 官方确认，内容真实性存疑，需以官方渠道为准
• @stochasticchasm 在部分讨论中将该泄露架构与传闻中的 qwen-3.8-flash-next（据称带 51B n-gram 参数）相提并论，并猜测「全局共享 KV + 各层独立 SWA」的组合换来了超小 KV cache、前两层仅用 SWA 等细节；这些归属与机制推断均为个人推测，未经证实

为什么重要

@nrehiew 的主线判断是「对 KV cache 压缩的偏执」造就了这个超高效的旗舰模型：在百万 token 上下文成为标配、长程 agent 工作负载成本攀升的趋势下，KV cache 的读写与内存成本成为主要瓶颈。V4.1 Flash 展示了一条从架构（非对称 CED、KV 复用、将 PD 分离写入权重）、算法（稀疏分层 indexer、压缩注意力、KV cache QAT）、训练（Muon、Sinkhorn、负载均衡、router replay）到推理部署（15/11 个融合 kernel、消息级 SWA 缓存、数值化 reasoning effort）的系统性降本路径，对长上下文与多模态前沿模型的工程化具有参考价值。

2026-09-11 ~ 2026-09-11 · 44 条相关

事件全程(共 18 集)→

• 第 1 集:DeepSeek V4.1 Flash 限时内测：新架构原生多模态(2026-09-08,18 条)
• 第 2 集:DeepSeek V4.1 Flash实测：极速350 tokens/s但偏实验性(2026-09-08,2 条)
• 第 3 集:DeepSeek V4-Flash 降价并改峰谷计费，9 月 10 日生效(2026-09-08,6 条)
• 第 4 集:DeepSeek V4.1 Flash 多方实测：近前沿性能，成本仅 1.4%~3.5%(2026-09-09,15 条)
• 第 5 集:DeepSeek 开源发布 V4.1 Flash，超旗舰低价引热议(2026-09-09,57 条)
• 第 6 集:DeepSeek V4.1/Flash 爆料：552B 非对称架构对标 GPT-5.6 Sol(2026-09-10,21 条)
• 第 7 集:DeepSeek V4.1 Flash 评测跑分流出，社区热议实测表现(2026-09-10,2 条)
• 第 8 集:DeepSeek 九个月将 KV 缓存压缩 54 倍至亚 KB 水平(2026-09-10,6 条)
• 第 9 集:传 DeepSeek 新模型成开源之王：碾压 GLM、Kimi 且便宜 4-10 倍(2026-09-10,3 条)
• 第 10 集:Bug Hunt Bench 发布:105 个真实 bug 横评前沿模型(2026-09-10,13 条)
• 第 11 集:DeepSeek V4.1 Flash 确认以 YOCO 架构为核心(2026-09-10,7 条)
• 第 12 集:DeepSeek V4.1 Flash 技术报告流出：死磕 KV cache 压缩(2026-09-11,44 条)
• 第 13 集:DeepSeek V4.1 Flash 登顶 Vals 开源榜，成本仅 0.3 美元(2026-09-11,2 条)
• 第 14 集:DeepSeek 发布 V4.1-Flash：552B 骨干、百万上下文(2026-09-11,5 条)
• 第 15 集:DeepSeek V4.1 Flash 评测得 40 分，幻觉率上升仍领先开源(2026-09-11,2 条)
• 第 16 集:DeepSeek CED 与 GLM 的 KV 缓存复用机制解析(2026-09-11,4 条)
• 第 17 集:DeepSeek 4.1 Flash 实测：缓存降价 7 倍，内核大升级(2026-09-11,2 条)
• 第 18 集:SGLang 24 小时适配 DeepSeek V4.1 Flash 达 873 tok/s(2026-09-12,2 条)

• DeepSeek-V4.1-Flash 架构详解:非对称编码器-解码器与 CSA2 注意力 — teortaxesTex · 2026-09-11
• 博主点评新模型技术报告:基准成绩惊人,KV 缓存缩小 4 倍 — stochasticchasm · 2026-09-11
• 【源头】DeepSeek 新模型技术报告:KV Cache 较 DSV4-Flash 缩小 4 倍,训练更稳定 — stochasticchasm · 2026-09-11
• DeepSeek 或打破 V<N> 命名惯例,新架构自称训练更稳定 — stochasticchasm · 2026-09-11
• 分析称某新架构设计深度契合推理：prefill 便宜、KV cache 更小 — stochasticchasm · 2026-09-11
• 观察:推理效率已成当前架构改进的唯一主目标 — stochasticchasm · 2026-09-11
• 架构讨论：纯 CSA2 优于 v4 的 CSA/HCA 双压缩频率设计 — stochasticchasm · 2026-09-11
• FP4 KV cache 直出无退化,推理工程师有得玩了 — stochasticchasm · 2026-09-11
• FP4 KV cache 几乎不占显存?推理工程师热议激进压缩方案 — stochasticchasm · 2026-09-11
• 新模型引入 engram 与 mHC 简化，社区追问预训练细节 — stochasticchasm · 2026-09-11
• 博主解读稀疏注意力训练信号：无需稠密热身或预示训练范式转变 — stochasticchasm · 2026-09-11
• 技术推主分析稀疏注意力长上下文训练：无需稠密预热是好信号 — stochasticchasm · 2026-09-11
• 架构分析:解码器并非跨层读取编码器 KV,只周期读末层状态 — stochasticchasm · 2026-09-11
• 架构细读:解码器周期性读取编码器最终隐状态,而非多层交叉注意力 — stochasticchasm · 2026-09-11
• 前两层为何只用滑动窗口注意力？架构设计引发技术猜想 — stochasticchasm · 2026-09-11
• 疑似 Qwen 新模型 n-gram 参数规模空前，前两层仅用 SWA — stochasticchasm · 2026-09-11
• 泄露架构疑似用全局共享 KV + 独立 SWA 换取超小 KV cache — stochasticchasm · 2026-09-11
• 技术账号拆解某模型 engram 细节：素数表长、4-gram、fp8 — stochasticchasm · 2026-09-11
• 新模型技术报告移除 MTP，fp8 查找表与质数表长引热议 — stochasticchasm · 2026-09-11
• 爆料：新模型对 KV 缓存做 QAT，fp4 下表现更好但砍掉 MTP — stochasticchasm · 2026-09-11
• KV Cache 也做 QAT?技术拆解解释某模型 fp4 精度下表现更好 — stochasticchasm · 2026-09-11
• 又一个模型转向 Muon:行业观察称其正成为训练默认优化器 — stochasticchasm · 2026-09-11
• Muon 优化器加速成为默认选择,新模型彻底弃用 Adam — stochasticchasm · 2026-09-11
• DeepSeek V4.1 Flash 架构解析：552B MoE 读写算力不对称省上下文成本 — demian_ai · 2026-09-11
• 这个模型竟无 input/output 优化参数，仅 LM 头去 weight decay — stochasticchasm · 2026-09-11
• 【源头】DeepSeek V4.1 Flash 技术深读:死磕 KV cache 压缩造就高效前沿模型 — nrehiew_ · 2026-09-11
• DeepSeek V4.1 Flash 多模态:45T 图文 token 预训练加模态级负载均衡 — nrehiew_ · 2026-09-11
• DeepSeek V4.1 Flash 用 YOCO 式 decoder-decoder 把 KV cache 减半 — nrehiew_ · 2026-09-11
• DeepSeek V4.1 Flash 的全局注意力:三种 KV 复用变体的压缩注意力 — nrehiew_ · 2026-09-11
• DeepSeek V4.1 Flash 稀疏 indexer 也是稀疏的,分层候选筛选 — nrehiew_ · 2026-09-11
• DeepSeek V4.1 Flash 用 Muon 优化器,196B 参数 Engram 配 Sinkhorn 平衡 — nrehiew_ · 2026-09-11
• DeepSeek V4.1 Flash 基建细节:Siglip 式视觉编码器与稀疏 indexer 集群 — nrehiew_ · 2026-09-11
• DeepSeek V4.1 Flash 后训练全靠数据:合成多智能体轨迹加 checkpoint 合并 — nrehiew_ · 2026-09-11
• prefill 仅 15 个融合 kernel:V4.1 推理栈细节与分钟级 SWA 缓存 — nrehiew_ · 2026-09-11
• 单节点 2500 并发沙箱:智能体轨迹数据首次显式仿真实使用模式 — nrehiew_ · 2026-09-11
• 首个推理努力参数直接影响长度惩罚的模型？V4.1 设计引关注 — nrehiew_ · 2026-09-11
• RL 训练基建拆解:router replay、off-policy 控制与 40+ 教师 OPD — nrehiew_ · 2026-09-11
• 新模型跑分「离谱」:效率直逼 Sol/Opus 水平，RL 基建细节曝光 — nrehiew_ · 2026-09-11
• V4.1 推理能力曲线非线性，Agent 团队模式用 RL 显式训练协作 — nrehiew_ · 2026-09-11
• DeepSeek 新技术报告解读：KV 仅 890 字节/token，为推理而生 — nrehiew_ · 2026-09-11
• 新型推理努力控制方案曝光：分级 GRPO 训练引热议 — stochasticchasm · 2026-09-11
• 网传 DeepSeek-V4.1-Flash 技术报告：552B MoE 主打百万级上下文的 KV 缓存压缩 — burkov · 2026-09-11
• 【源头】曝 DeepSeek V4.1 Flash 将 prefill/decode 分离直接写入模型权重 — altryne · 2026-09-11

另有 1 条近重复转述:altryne