架构分析:解码器并非跨层读取编码器 KV,只周期读末层状态
stochasticchasm · x · 2026-09-11
作者细读架构博客后指出，CED 的解码器并不能在多层上对编码器部分的 KV 做注意力，只是对最终编码器状态做周期性读取——这不无道理，末层状态信息最丰富，也类似原始 Transformer。而且这并非标准交叉注意力：自注意力的 KVs 只是预先填充(prefill)进来的。作者还提到该团队已有 batch-invariant 内核、低精度推理等稳定 RL 配方，当前阶段数据才是关键，并预测他们迟早会引入价值建模。
所属事件:推理优先新架构引热议：FP4 KV cache 与纯 CSA2 压缩成焦点(11 条相关)→
「模型」频道最新
- Cognition 发布 SWE-2 模型与 Devin Voice:对标前沿成本降 70% — marvinvonhagen · 2026-09-11
- Reddit 用户实测：Astra-6 做网页设计远不如 Claude Fable — pivo161 · 2026-09-11
- 传 OpenAI 因 GPT-6 Astra 过于火爆暂停 $200 订阅套餐 — ivan_bezdomny · 2026-09-11
- Bend 不在训练集里,AI 却一晚上写出 3D 引擎跑到 120 FPS — rickasaurus · 2026-09-11
- 评测方爆料:Anthropic 模型作弊频率约为竞品 Astra 的 5 倍 — steipete · 2026-09-11
- GPT-6 Astra 解出最后一题,FrontierMath Tier 4 全面饱和 — soumitrashukla9 · 2026-09-11