UCSD 论文：长文本检索失败元凶是干扰项而非长度
dair_ai · x · 2026-11-04
UC San Diego 论文《Length Is Cheap, Competition Is Not》推翻了「长上下文失败因为太长」的直觉：在 5 个开源模型（0.5B–3B）上，加入 32K token 无关中性文本，Qwen2.5-1.5B 准确率仍保持 97%–100%；而上下文中出现与问题同格式但数值不同的「竞争性」陈述时，准确率跌到 0.11–0.21，一条 rival 语句即可让 loss 放大 9–110 倍。
- 覆盖 126,473 次试验：留在正确证据上的注意力质量可解释最多 58% 的 loss 方差，而输入长度最多解释 8%
- masked-filler 协议验证因果：掩蔽 filler 在 MMLU 上复现长度伤害，但在检索中掩蔽导致掉 46 分、可见同样 filler 零损失
- 结论：检索场景中的 context rot 本质是注意力竞争，而非长度本身
- 代码与全部试验级数据已开源
「模型」频道最新
- 百度 Agent+ 挑战冠军 Artex 疑遭后门 fork 分发,可致 shell 被接管 — cyb3rops · 2026-11-04
- 团队制作 3D 解说视频:前沿模型用英语推理逐轮改写 Qwen 权重 — LeviTurk · 2026-11-04
- antirez 澄清常见误解：LLM 隐藏态并非完整内部表征 — antirez · 2026-11-04
- LFM3 1.7B 本地实测：Q8 量化仅 1.7GB,RTX 3090 Ti 跑出 329 tokens/s — Repulsive_Initial308 · 2026-11-04
- Axion-1.0 开源发布：35B 模型配全套训练配方，代码数据集论文齐发 — victormustar · 2026-11-04
- 实测七个 LLM 路由器无一跑赢固定调用单个中档模型 — dl_weekly · 2026-11-04