KDA 线性架构讨论升温
teortaxesTex · x · 2026-07-18
作者认为 KDA 是个“好设计”，并直接反驳了对它的惊讶：Kimi 团队把它做成产品级成果，本身就说明经过了大量研究；而且 48B 版本表现本来就不错，KDA 这条路线并不意外。
配图里的讨论集中在 Kimi Linear 报告与后续复现实验：有人把 KDA 拿去和 full attention、sliding window attention 比较，结果在 MOAR 等任务上表现很强；另一张图则总结了 KDA 相比全注意力的实现、调参、并行和对齐训练/推理数值等工程难点。整体信息指向的是：这种线性/替代注意力方案不是“拍脑袋的新架构”，而是在严格实验和工程打磨后才站住脚。
「模型」频道最新
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27
- FrontierML 基准:Kimi K3.1 Pro 成最强开源模型,但仍远落后 Opus 5.5 — teortaxesTex · 2026-10-27
- 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27
- 爆料称 DeepSeek 因梁文锋拒早押 Agent 转向,痛失 AI4Math 领先位 — teortaxesTex · 2026-10-27