数学视角拆解Kimi K3：为何弃用RoPE位置编码

推文从线性注意力机制角度解释Kimi K3模型弃用RoPE位置编码的底层逻辑。RoPE可视为累积转移矩阵的乘积，而在线性注意力中，转移矩阵可随位置变化且依赖输入，因此可能无需显式位置编码。讨论还延伸至大规模因果模型是否真的需要位置编码，引发对DeltaNet等线性注意力架构的探讨。

2026-08-08 ~ 2026-08-09 · 2 条相关