RoPE 本质是近因偏置？旋转让远距键变「噪声」
BlackHC · x · 2026-11-03
BlackHC 探讨「RoPE 是否只是一种 recency bias」的直觉：旋转一个远距离的键会让它与查询的匹配变成「噪声」，因此注意力初期偏向邻近 token；要关注一个精确的动态偏移位置，需要 MLP 抵消旋转，这看起来很难。他指出这个直觉部分正确，并解释了失相机制：每对维度贡献 cos(ωᵢΔ)，不同速度的旋转让匹配项漂移失相，最终退化到与无关键相同的随机水平。最快 16 对约 4 token 后失效，中间 32 对约 512，最慢 16 对约 4K。
所属事件:RoPE 或只是近因偏置：远距匹配退化为噪声(4 条相关)→
「研究」频道最新
- Erdős #357 新证明补充：Coppersmith–Phillips 界仅覆盖递增序列 — kevrussell · 2026-11-03
- GPT Astra 辅助证明 Erdős 问题 #357 新下界，Lean 验证待人工审 — kevrussell · 2026-11-03
- UBC 团队发布 RVCBench：18 个语音克隆模型经 18 项鲁棒性测试 — jiqizhixin · 2026-11-03
- 从泊松假设到单分子观测：纪念转录爆发式发现的经典 2005 年论文 — NikoMcCarty · 2026-11-03
- AAAI 2027 将办神经科学与 AI 双向研讨会，征稿仅剩三周 — naturecomputes · 2026-11-03
- DeepSeek V4.1 Flash 1017 登顶开源 ARC-AGI-3：5.81% 翻倍提升 — teortaxesTex · 2026-11-03