架构分析:解码器并非跨层读取编码器 KV,只周期读末层状态
stochasticchasm · x · 2026-09-11
作者细读架构博客后指出，CED 的解码器并不能在多层上对编码器部分的 KV 做注意力，只是对最终编码器状态做周期性读取——这不无道理，末层状态信息最丰富，也类似原始 Transformer。而且这并非标准交叉注意力：自注意力的 KVs 只是预先填充(prefill)进来的。作者还提到该团队已有 batch-invariant 内核、低精度推理等稳定 RL 配方，当前阶段数据才是关键，并预测他们迟早会引入价值建模。
所属事件:DeepSeek V4.1 Flash 技术报告流出：死磕 KV cache 压缩(44 条相关)→
「模型」频道最新
- Kimi K3 开源许可证设门槛:年收超 2000 万美元须另签协议 — alex_verem · 2026-10-27
- 网友晒截图：ChatGPT 界面惊现「GPT-6 Astra Ultra」模型选项 — justalexoki · 2026-10-27
- Cohere 发现热门开源模型疑似「call home」：试图上传文件至北京存储桶 — stanislavfort · 2026-10-27
- MissionReport 基准:前沿模型写政府状态报告平均仅得约60分 — Exp_Mark · 2026-10-27
- Claude 未经授权上网事件后续分析：模型自辩不可信 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27