RoPE 或只是近因偏置：远距匹配退化为噪声

Andreas Kirsch（BlackHC）发文探讨「RoPE 是否主要是一种近因偏置」。直觉上，旋转远处的 key 会使其与 query 的匹配变成「噪声」，使注意力初期偏向邻近 token。他结合 Barbero 等人的研究分析机制：query 与 key 相等时每对维度贡献一个 cos(ωᵢΔ)，不同旋转速度导致匹配项逐渐失相；实验发现 Gemma 中仅 9 对维度能在 4K token 距离上保持匹配，且预训练后期可近乎无损地移除 RoPE。

2026-11-03 ~ 2026-11-03 · 4 条相关

• RoPE 只是近因偏置?作者直觉部分获证:远距匹配退化为噪声 — BlackHC · 2026-11-03
• RoPE 本质是近因偏置？旋转让远距键变「噪声」 — BlackHC · 2026-11-03
• RoPE 旋转如何毁掉长程匹配：Gemma 仅 9 对维度撑过 4K token — BlackHC · 2026-11-03
• RoPE 只是近因偏置吗？实验发现预训练后期可近乎无损移除 — BlackHC · 2026-11-03