「因果编码器-解码器」名不副实？DeepSeek V4.1 架构被指更像 YOCO
donglixp · x · 2026-09-10
针对 DeepSeek V4.1 被称为「Causal Encoder-Decoder」架构，开发者 aHapBean 提出不同看法，认为这一说法夸大了架构上的革新：
- V4.1 可能仍是 decoder-only LLM，更准确的描述是 YOCO 风格的 KV 复用设计（You Only Cache Once）
- 所谓「编码器」其实是联合训练的因果 Transformer 下半部分——decoder-only 模型的浅层本就在功能上承担编码器角色，为深层构建上下文表示
- 上层共享来自中间表示的全局 KV，使大部分 prompt token 在 prefill 时可跳过上层计算，这是实质性的效率改进
- 整个堆栈仍端到端训练，「编码器-解码器」的说法容易让人误以为是两个独立网络
所属事件:DeepSeek V4.1 Flash 确认以 YOCO 架构为核心(7 条相关)→
「模型」频道最新
- Steve Hsu 评 OpenAI Navier-Stokes 论文:技术水准或超人类所能构想 — LucaAmb · 2026-10-27
- Aidan Gomez：模型推理痕迹说谎，CoT 监控对 Agent 可能失效 — aidangomez · 2026-10-27
- Nat Lambert 评 Cohere 开源模型:窄域 RL 训练依赖内部基础设施 — natolambert · 2026-10-27
- OpenAI DOTS 官方暗示「很快」登陆欧洲 — mark_k · 2026-10-27
- 科普作家 Pickover 出谜题:AI 能破译这段维京卢恩文字吗 — pickover · 2026-10-27
- ChatGPT 爬虫样例代码被实测：完全剔除所有 Schema 标记 — VeryWellVersed · 2026-10-27