7500 次调用复测 NoLiMa：32K 上下文下模型集体失忆
mrtac96 · reddit · 2026-11-15
作者复跑 2025 年的 NoLiMa「大海捞针」测试（needle 与问题无共享词汇），用 6 个 2026 年模型、7500 次调用（花费 $19.02）验证长上下文能力是否退化。
核心发现
- 1K token 上下文时模型回答基本正确；但 32K 时，10 组设置中 9 组得分跌破其 1K 成绩的 85%。
- 作者怀疑是 NoLiMa 原始提示词（"Use the information provided in the book snippet"）导致，于是删除/改写提示词后重跑两轮完整实验——结果不变。
- 关键对照：当问题直接复述 needle 中的词汇时，10 组设置在 32K 全部 100% 正确。说明问题不是长度本身，而是「长度 + 问题与原文无共享词」的组合。
- 推理开启越多，模型越倾向提前给出「文中没提到」式的错误预警。
对 RAG 的实操启示：提问时尽量沿用文档原文的措辞，避免语义改写导致检索/理解失败。全文与代码数据均已开源。
「编程与Agent」频道最新
- 斯坦福 CS329A 全套课程上线：9 讲揭秘 AI Agent 如何自我改进 — FinanceYF5 · 2026-11-15
- 20 个 GitHub 仓库把 Fable 5.2 变成全套动效工作室：3D、特效、导出全覆盖 — PrajwalTomar_ · 2026-11-15
- Hala Play 加 Claude 做出 Flappy Bird，美术音效全 AI 生成 — aziz4ai · 2026-11-15
- Gemini 4 Carbon 编码实测：4.5 小时完成 16 张票但耗 时远超对手 — every · 2026-11-15
- Linus Torvalds：AI 掀起的内核 bug 洪峰已过，系统反而更坚固 — IgorCarron · 2026-11-15
- 解决任意感知任务的五步配方：下午收集数据微调 VLM 即可 — giffmana · 2026-11-15