数学视角拆解 Kimi K3：为何弃用 RoPE 位置编码
nrehiew_ · x · 2026-08-08
推文从线性注意力机制的角度，深入浅出地解释了 Kimi K3 模型不需要 RoPE（旋转位置编码）的底层逻辑。
- RoPE 的本质：可以被视为一系列累积转移矩阵作用于查询和键的乘积，等价于静态旋转矩阵的矩阵幂。
- 线性注意力的推广：在线性注意力中，转移矩阵可以随位置变化并依赖于数据。DeltaNet 常被理解为读写操作或快速权重的在线回归。
- GDN 的新视角：如果选择广义 Householder 变换（作为一种擦除操作）作为转移矩阵，就能还原出 GDN（Generalized DeltaNet）。
- KDA 替代 RoPE：结合引用的推文，由于 DeltaNet 内部天然包含正交的 Householder 矩阵，而正交矩阵的幂已被证明可以编码相对位置，因此 Kimi Delta Attention（KDA）作为 DeltaNet 的变体，自身就具备了位置编码能力，无需额外引入 RoPE。
所属事件:数学视角拆解Kimi K3：为何弃用RoPE位置编码(2 条相关)→
「模型」频道最新
- Bittensor 子网 Cascade 启用热启动，持续优化时序预测模型 — bittingthembits · 2026-08-09
- 曝 GPT-5.6 可模仿用户性格，开启记忆功能体验更佳 — Angaisb_ · 2026-08-09
- Grok 新图像模型再现 GPT 噪点瑕疵,合成数据致 AI 互相污染 — mark_k · 2026-08-08
- xAI 推出 Grok Image 2.0,逐帧生成实现精准图像变化 — chaitu · 2026-08-08
- 用户吐槽大模型找不出数据规律，需手把手教才行 — Sarthak1411 · 2026-08-08
- 开发者吐槽 Claude 安全审查过度：副业与拟人客服频频受阻 — bankingyoung · 2026-08-08