数学视角拆解 Kimi K3：为何弃用 RoPE 位置编码
nrehiew_ · x · 2026-08-08
推文从线性注意力机制的角度，深入浅出地解释了 Kimi K3 模型不需要 RoPE（旋转位置编码）的底层逻辑。
- RoPE 的本质：可以被视为一系列累积转移矩阵作用于查询和键的乘积，等价于静态旋转矩阵的矩阵幂。
- 线性注意力的推广：在线性注意力中，转移矩阵可以随位置变化并依赖于数据。DeltaNet 常被理解为读写操作或快速权重的在线回归。
- GDN 的新视角：如果选择广义 Householder 变换（作为一种擦除操作）作为转移矩阵，就能还原出 GDN（Generalized DeltaNet）。
- KDA 替代 RoPE：结合引用的推文，由于 DeltaNet 内部天然包含正交的 Householder 矩阵，而正交矩阵的幂已被证明可以编码相对位置，因此 Kimi Delta Attention（KDA）作为 DeltaNet 的变体，自身就具备了位置编码能力，无需额外引入 RoPE。
所属事件:数学视角拆解Kimi K3：为何弃用RoPE位置编码(2 条相关)→
「模型」频道最新
- GPT-6 Sol 开药水店零失误，推理摘要却把库存当成自身属性 — liminal_bardo · 2026-10-16
- willcb 谈 Opus 5.5：不是参数变大，而是数据修好了 — willcb · 2026-10-16
- 曝 Apple 与 Meta 合作：816B 参数模型 Muse Spark Open 可跑在 Mac Studio — TansuYegen · 2026-10-16
- 法国开发者力挺 Mistral：ML4 万亿参数 MoE 未训完已比肩开源前列 — blakesnake86 · 2026-10-16
- Claude Opus 6 EAP 检查点现身，GPT-6.1 Astra 与 MAI-Base-2 泄露汇总 — WorldofAI · 2026-10-16
- Gemini 4 模型卡披露:模型可省去生物武器研究数月试错 — Puzzleheaded-King584 · 2026-10-16