Kimi K3 去掉 RoPE 改用 NoPE，KDA 仍在编码顺序
cedric_chee · x · 2026-07-29
Kimi K3 据称去掉了所有 RoPE 层，改用 NoPE，但这并不意味着模型“完全不知道位置”。
- KDA 是递归式的：它更像一种内容可寻址的矩阵状态 RNN，而不是传统 softmax attention。模型维护紧凑的 fast-weight memory，并用类似 delta rule 的方式更新。
- 顺序信息是隐式编码的：门控、衰减机制和 causal masking 一起，让模型仍然能感知先后顺序与新近性。
- MLA 负责全局检索：在没有显式位置编码的情况下，MLA 提供内容级的全局信息检索。
- 层级堆叠有设计：帖子提到 K3 在每个 gated MLA 层之前放了 3 层 KDA（包括第一层之前也有 3 层），因此 token 在进入检索层前已经带有顺序感知表示。
所属事件:Kimi K3 架构突破：移除 RoPE 改用 NoPE(3 条相关)→
「模型」频道最新
- MachgenAI:账户余额超25美元可免费用Minimax H3 Turbo生成 — TheMoonMidas · 2026-09-23
- 研究者观察:爱晒AI吹捧自己的多是反社会行为者 — repligate · 2026-09-23
- 评Opus 5.5:语料满是摘要的摘要,一手经验最稀缺 — mimi10v3 · 2026-09-23
- Claude Opus 5.5 登 FrontierSWE 第二名，62.3% 仅次于 GPT-6 Astra — scaling01 · 2026-09-23
- Claude 修复后回归，实测者称速度明显变快 — evielync · 2026-09-23
- 仅凭歌词加音频,Opus 5.5 复刻出视觉作品引开发者惊叹 — repligate · 2026-09-23