RoPE 近距偏置拖累长文本,新方案 DaRoPE 改善远距检索

burkov · x · 2026-10-01

burkov 介绍一篇关于位置编码的文章:现代模型依赖位置编码理解序列顺序,业界主流的 RoPE 存在「近处 token 优先于远处 token」的固有偏置——短输入有效,但在文档问答、代码库分析、复杂推理等长上下文场景中,数千 token 前出现的关键信息容易被近期无关信息覆盖。文章系统评估了现有位置编码的局限,并提出 Data-aware RoPE(DaRoPE),在不牺牲效率与精度的前提下改善长程检索与外推能力。