Kimi K3 架构解析：放弃 RoPE 引入 KDA 与 LatentMoE
khademinori · x · 2026-07-30
推文探讨了 Kimi K3 模型在架构设计上的关键取舍及其带来的性能提升。
- 核心架构：K3 完全放弃了 RoPE（旋转位置编码），尽管其原作者参与了该模型研发。取而代之的是 Kimi Delta Attention (KDA)，它本质上是一个循环且基于内容寻址的矩阵状态 RNN，使得 token 在进入全局 MLA 之前就已具备顺序感知能力。
- 组件升级：相比此前的 Kimi Linear 模型，K3 新引入了 LatentMoE 组件（类似于 Nemotron 3 Ultra 的设计），通过下投影压缩大型线性层。
- 规模化验证：K3 成功将 Kimi Linear 的研究架构（从 480 亿参数）扩展至生产级前沿模型（2.8 万亿参数），证明了该架构在极端规模下的有效性。
所属事件:Kimi K3 开源模型架构解析：弃 RoPE 引入 KDA 与 LatentMoE(5 条相关)→
「模型」频道最新
- 网友观察到模型自生成「理想回答」用于训练其他模型 — liminal_bardo · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- JevBench 榜单更新:d1-ultra 以 76.1 综合分登顶,32 个 API 系统参评 — airesearch12 · 2026-10-16
- LMArena 上线 Agent 与代码双排行榜，可对比各模型智能体实力 — arena · 2026-10-16
- NVIDIA Nemotron-3.5 实测遇冷:Bolt 74B 在 pandas/numpy 与决策类测试不及 nano 版 — norenEnmotalen · 2026-10-16
- Reflection 开源 501B 模型 Beam,Apache 2.0 携 40+ 伙伴生态发布 — bhutanisanyam1 · 2026-10-16