KDA 线性架构讨论升温
teortaxesTex · x · 2026-07-18
作者认为 KDA 是个“好设计”，并直接反驳了对它的惊讶：Kimi 团队把它做成产品级成果，本身就说明经过了大量研究；而且 48B 版本表现本来就不错，KDA 这条路线并不意外。 配图里的讨论集中在 Kimi Linear 报告与后续复现实验：有人把 KDA 拿去和 full attention、sliding window attention 比较，结果在 MOAR 等任务上表现很强；另一张图则总结了 KDA 相比全注意力的实现、调参、并行和对齐训练/推理数值等工程难点。整体信息指向的是：这种线性/替代注意力方案不是“拍脑袋的新架构”，而是在严格实验和工程打磨后才站住脚。