RoPE 旋转如何毁掉长程匹配：Gemma 仅 9 对维度撑过 4K token

BlackHC · x · 2026-11-03

BlackHC 结合 Barbero 等人的研究分析 RoPE 的长程匹配机制：查询与键相等时，每对维度贡献一个 cos(ωᵢΔ)，各对旋转速度不同，导致匹配项逐渐失相（dephase），最终注意力分数退化到随机水平（±1/√d）。

具体数字：最快的 16 对维度约 4 个 token 后失相，中间 32 对约 512 token，最慢 16 对约 4K token。在 10K 的 base 下，4K token 范围内 64 对中只有 9 对保持在四分之一圈以内，32K 时一对都没有——这解释了 Llama 3 为何把 base 提到 500K。另指出 Gemma 7B 把大部分 Q/K 范数集中在最慢的维度对上。