Kimi K3 架构因 KDA、AttnRes 和 gated MLA 获好评
stochasticchasm · x · 2026-07-28
这条是在点评 Kimi K3 的架构，重点落在几个技术选择上：
- 认为 KDA 和 AttnRes 这两个模块都很强。
- 指出模型用了 gated attention / gated MLA，这是一个值得关注的改动。
- 还特别提到 Kimi K3 的 MLA 终于走向 NoPE，并追问这是不是首次把线性注意力和 NoPE 这样组合起来、而不是像以前那样在全局层里混入 RoPE。
整体上是一个很短但足够技术化的架构评论。
「模型」频道最新
- Kimi K3 权重分片已现身为 96 份 safetensors — ricklamers · 2026-07-28
- 微软再次强调 MAI-Cyber-1-Flash 安全栈 — satyanadella · 2026-07-28
- 微软发布 MAI-Cyber-1-Flash，称 CyberGym 成绩领先且成本减半 — satyanadella · 2026-07-28
- Claude Opus 5 维持 4.8 版定价，编码表现逼近 Fable 5 — AlexKim · 2026-07-28
- Claude Opus 5 迁移指南悄悄改写了多年提示词建议 — AlexKim · 2026-07-28
- 帖子称一款注意力骨干模型有 104B 激活参数 — zephyr_z9 · 2026-07-28