研究：LLM百万token上下文存在注意力稀释，检索能力下降
_reachsumit · x · 2026-07-03
论文"Can Language Models Actually Retrieve In-Context?"研究了大语言模型在百万token级长文本中的检索能力。研究发现LLM虽然可以从超长上下文中检索信息，但随着文档数量增加会出现"注意力稀释"现象，导致检索性能显著下降。研究团队针对这一问题提出了基于长度感知的修复方案，为长上下文应用提供改进思路。
「研究」频道最新
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- VidMap 用 RoMa 粗匹配全帧、精细匹配仅限关键帧 — ducha_aiki · 2026-09-11
- Bug Hunt Bench 作者补充:榜单噪声幅度约 2-3 分 — PawelHuryn · 2026-09-11
- 台球计算模型登 PNAS:二维系统已存在不可判定性,可跑通用计算机 — eigensteve · 2026-09-11
- 新研究:从仿射变换与重力线索求解绝对位姿 — ducha_aiki · 2026-09-11
- LoMa 论文发布 REALLY HardPairs 数据集,入选 ECCV 2026 — ducha_aiki · 2026-09-11