Kimi K3 将 KDA 输出 gate 改为输入依赖的全秩投影
stochasticchasm · x · 2026-07-28
- 这条同样来自 Kimi K3 技术报告，讨论的是模型的 full-rank gate。
- 报告说明，Kimi K3 把 KDA 的输出 gate 从 Kimi Linear 里用的低秩参数化，改成了一个依赖输入的全秩投影。
- 在对 recurrent output 做 head-wise RMSNorm 之后，KDA 再用数据依赖的输出 gating；图中还给出了对应的公式。
所属事件:月之暗面发布 Kimi K3 技术报告，宣称训练效率提升 2.5 倍(7 条相关)→
「研究」频道最新
- Kimi K3 的 MoE 路由可能推高专家并行通信 — stochasticchasm · 2026-07-28
- Kimi K3 发现 16 个新漏洞并领先 GLM-5.2 — zephyr_z9 · 2026-07-28
- Kimi K3 用 -5 下界锁住衰减，避免 chunkwise KDA 溢出 — suchenzang · 2026-07-28
- Block Attention Residuals 将注意力开销降到 O(Nd) — stochasticchasm · 2026-07-28
- 探讨 MLA 架构细节：全秩门投影会否引发参数爆炸？ — stochasticchasm · 2026-07-28
- OpenAI agent 测试被指含不可解任务与黑客风险警告 — dhadfieldmenell · 2026-07-28