DeepSeek 自曝 CED 架构灵感来自 2024 年 YoCo 论文
jm_alexia · x · 2026-09-10
转发者指出,DeepSeek 引用 2024 年的 YoCo(You Only Cache Once)论文作为其 Causal-Encoder Decoder(CED)transformer 模块的主要灵感来源。
- YoCo 的 decoder-decoder 架构:模型拆成上下两半。下半 Self-Decoder 用带因果掩码的高效注意力(如 SWA)处理输入序列,产出一个共享的全局 KV cache;上半 Cross-Decoder 不自己计算 KV 对,而是在每一层对这一个全局 KV cache 做交叉注意力。
- 核心价值:"只缓存一次"——昂贵的全局 KV 对只算一次并在所有上层复用,而非每层独立重算,大幅降低推理显存与成本。
- 作者称这就是 DeepSeek-4.1 的"secret sauce",并感慨 Encoder-Decoder 架构的复兴出乎其 2026 年的预料。
所属事件:DeepSeek V4.1 Flash 确认以 YOCO 架构为核心(7 条相关)→
「模型」频道最新
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26
- 售卖机基准新观察：Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26
- 爆料称 Fable 5.5 每周将发，博主泼冷水：本月无前沿新模型 — patience_cave · 2026-10-26
- 实测 abliterated 去审查模型翻车:模型反而关心起我的心理健康 — ryunuck · 2026-10-26
- OpenAI Decisions API 升级：单次可处理 400 个问题并新增语音与图像能力 — OpenAIDevs · 2026-10-26
- 中国首个前沿AI安全独立评测实验室「方寸跃迁」成立并首发DeepSeek评测 — JacquesThibs · 2026-10-26