DeepSeek-V4.1-Flash 架构详解:非对称编码器-解码器与 CSA2 注意力
teortaxesTex · x · 2026-09-11
DeepSeek 最新技术报告引入全新架构 DeepSeek-V4.1-Flash,推文作者 arjunkocher 及转述者据架构图做了逐层拆解:
- 非对称因果编码器-解码器(CED):40 层网络分为各 20 层的因果编码器与解码器,并非 BERT/T5 式结构——每个生成 token 仍走全部 40 层;差别在读 prompt:解码器全局 KV 从编码器末层隐状态投影而来,prompt 只需 20 层编码器加 128 token 的解码器 replay。每 token 激活 prefill 8B / decode 16B 参数,prefill 计算近乎减半。
- CSA2(Compressed Sparse Attention 2):前两层编码器用滑动窗口注意力(SWA),其余用 CSA2;CSA2 有 Full/Reindex/Reuse 三种模式,跨层复用主 KV 与 Top-K 索引。编码器模式为 SWA、SWA、再 [Full+5 Reuse]×3;解码器为 Full+3 Reuse 后 [Reindex+3 Reuse]×4。共享 KV 降缓存存储,复用 Top-K 省索引计算。V4.1 弃用了 V4 的 CSA–HCA 混合,改用纯 CSA2。
- 其他组件:FFN 全部用标准 DeepSeekMoE;引入此前工作中的条件记忆模块 Engram,把记忆与计算解耦(对近期 2-gram、3-gram 等做哈希索引);另含 Single-Pass mHC、DSpark 与 Hierarchical Sparse Indexer。
整体看,这是一个以省 KV cache 和 prefill 算力为核心的长上下文效率架构,是目前对 DeepSeek 新架构最详细的一份公开拆解。
所属事件:DeepSeek V4.1 Flash 技术报告流出：死磕 KV cache 压缩(44 条相关)→
「模型」频道最新
- 网友发现 Claude 疑似上线专用翻译界面 — BLCNYY · 2026-10-26
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26
- 售卖机基准新观察：Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26
- 爆料称 Fable 5.5 每周将发，博主泼冷水：本月无前沿新模型 — patience_cave · 2026-10-26
- 实测 abliterated 去审查模型翻车:模型反而关心起我的心理健康 — ryunuck · 2026-10-26
- OpenAI Decisions API 升级：单次可处理 400 个问题并新增语音与图像能力 — OpenAIDevs · 2026-10-26