研究：LLM百万token上下文存在注意力稀释，检索能力下降
_reachsumit · x · 2026-07-03
论文"Can Language Models Actually Retrieve In-Context?"研究了大语言模型在百万token级长文本中的检索能力。研究发现LLM虽然可以从超长上下文中检索信息，但随着文档数量增加会出现"注意力稀释"现象，导致检索性能显著下降。研究团队针对这一问题提出了基于长度感知的修复方案，为长上下文应用提供改进思路。
「研究」频道最新
- Chollet 认为智能可能有硬上限，AI 进步会趋于边际递减 — binarybits · 2026-07-27
- 论文提出图拓扑可成为 AI Agent 核心框架 — theomitsa · 2026-07-27
- 一个问题追问多智能体分支如何随算力和模型规模变化 — iskander · 2026-07-27
- 新加坡国立大学做出无电子无外部供能软力传感器 — CurieuxExplorer · 2026-07-27
- Chelsea Finn：机器人 RL 的瓶颈是物理 rollout 成本 — ycombinator · 2026-07-27
- ICML 2026 口头论文复现分数重算后仍偏中等 — profjamesevans · 2026-07-27