RoPE 只是近因偏置吗？实验发现预训练后期可近乎无损移除

BlackHC · x · 2026-11-03

BlackHC(Andreas Kirsch)发布深度分析,探讨「RoPE 是否主要是一种近因偏置(recency bias)」——直觉上旋转会让远处的 key 匹配退化为噪声,从而让注意力偏向邻近 token。

核心发现:

这个直觉部分正确:旋转确实会随距离冲淡内容匹配。但训练好的模型对 RoPE 的用法远不止近因加权:模型把大部分内容放在几乎不旋转的最慢频率对上,而用最快频率构造「精确偏移头」(如前一个 token 头),后者只需在 Q/K 投影中学习一个固定旋转,无需 MLP。
Barbero et al.(ICLR 2025)研究 Gemma 7B 发现,Gemma 偏好使用 RoPE 的最低频(可能携带语义信息),并用最高频构建位置注意力模式。
p-RoPE 实验显示:Gemma 2B 把最慢的 25% 频率对取消旋转后 Wiki 困惑度 4.44,甚至优于完整 RoPE 的 4.46;但取消 75% 则升至 4.53,NoPE 为 4.86。
DroPE(ICLR 2026)在 500M 模型上中途丢弃 RoPE:全程保留 21.72 ppl,第 14K/16K 步丢弃 21.73(几乎无损),第 8K 步丢弃 22.42,从零 NoPE 23.77——说明 RoPE 主要在训练期起作用,训练后期在域内几乎可移除。
长上下文视角:base=10K 时 64 个频率对中只有 9 个能在 4K token 内保持相位同步,32K 时为零——这解释了 Llama 3 为何把 base 提到 500K。
两个推论:长上下文重标定 ωᵢ 会扰动偏移头(Position Interpolation 干扰大,YaRN 保留快频率对);内容依赖的偏移仍需模型自行构建,靠 induction heads 实现。

开放问题:训练期收益究竟来自精确偏移头还是单纯的近因性——在 120M 规模上 ALiBi 能匹配 RoPE 的困惑度。作者表示文章的模拟与图表由 Claude 和 Gemini 协助生成后自行编辑。

「模型」频道最新