DeepSeek V4.1 Flash 的全局注意力:三种 KV 复用变体的压缩注意力
nrehiew_ · x · 2026-09-11
nrehiew 解读 DeepSeek V4.1 Flash 的「全局注意力」:本质是升级版压缩注意力,三种变体都先在小 KV 上跑 indexer 做选择,再与窗口化 KV 拼接后进注意力。区别在于:
- 不复用
- 复用早层 KV 与 indexer K
- 复用 indexer 的选择结果
配套的 20 层 encoder + 20 层 decoder 设计:prefill 昂贵,下半层生成 KV cache 并投影后共享给上半层,可视为被后层各自读取的状态——灵感来自 YOCO,即所谓 decoder-decoder(SWA 层除外)。
所属事件:DeepSeek V4.1 Flash 技术报告流出：死磕 KV cache 压缩(44 条相关)→
「模型」频道最新
- 前 Google 研究员团队发布 Fern 0.1:专供审计数据、调试训练的模型 — bneyshabur · 2026-10-26
- Fern 0.1 智能体基准首秀:SWE-Bench Verified 73.4,与前沿模型仍有差距 — bneyshabur · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- Mirendil 发布首个自研预训练模型 Fern,上下文最长 1000 万 token — bneyshabur · 2026-10-26
- 网友发现 Claude 疑似上线专用翻译界面 — BLCNYY · 2026-10-26
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26