长上下文检索的注意力稀释问题
burkov · x · 2026-07-16
这篇来自 UC Berkeley 和 UT Austin 的论文在接近 100 万 token 的语料规模上测试：大模型能否不借助独立向量检索模型，直接从海量输入里可靠找到唯一相关文档。
作者先构建了一个 6 亿参数 的模型 BlockSearch，并把性能下降归因为 attention dilution：相关文档虽然能拿到较高原始分数，但在转换为注意力权重时，大量无关文档的分数会累积，把有效信号稀释掉。
他们尝试了两种针对性修正：
- 根据语料规模调整这种转换方式
- 让后层只查看一个候选短名单
结果在标准 benchmark 上，性能接近强向量检索基线；而在一个更依赖精确措辞而非语义相似度的任务上，最佳版本甚至比向量基线强数倍，不过随着语料继续增大，性能仍会下降。
「研究」频道最新
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- VidMap 用 RoMa 粗匹配全帧、精细匹配仅限关键帧 — ducha_aiki · 2026-09-11
- Bug Hunt Bench 作者补充:榜单噪声幅度约 2-3 分 — PawelHuryn · 2026-09-11
- 台球计算模型登 PNAS:二维系统已存在不可判定性,可跑通用计算机 — eigensteve · 2026-09-11
- 新研究:从仿射变换与重力线索求解绝对位姿 — ducha_aiki · 2026-09-11