Lost in the Middle:长上下文中间信息最易被模型忽略
thisdudelikesAI · x · 2026-09-12
「前 1% AI 工程师必读 12 篇论文」系列的压轴一篇：Liu 等人 2023 年的 Lost in the Middle（TACL 2023）。
核心结论：
- 通过多文档问答与键值检索两类任务测试，发现模型对长上下文信息的利用并不稳健
- 相关信息位于上下文开头或结尾时性能最好，位于中间时显著下降——即使是明确支持长上下文的模型也不例外
- 信息放在哪个位置，直接决定模型是否会使用它
作者评价这是「往巨型 prompt 里塞内容的人最该读的实用论文」，并指出该研究为后续长上下文模型提供了新的评测协议。同帖上一条还推荐了 DSPy：把提示词当作可优化的程序而非手工调字符串。
「研究」频道最新
- Nature MI 论文提出统一框架：从神经叠加到稀疏可解释编码 — GretaTuckute · 2026-09-12
- 星尘智能 SmoothRL：异步执行下机器人在线 RL 只学真正执行的动作 — jiqizhixin · 2026-09-12
- 为个人助手记忆系统自建评测，adebench 打出 93.7 分 — Soft-Lie-434 · 2026-09-12
- ECCV 现场激辩:视频生成模型是否让显式 3D 表征变得多余 — qixing_huang · 2026-09-12
- OpenAI 宣称攻克千禧年大奖难题,数学界却陷入不安 — The Verge AI · 2026-09-12
- 果蝇全脑模拟接入 1B 小模型：13.9 万神经元陪你聊天 — TinfoilTricorn · 2026-09-12