信息丰饶悖论：长上下文训练超阈值反伤短任务表现

约翰霍普金斯大学团队在新预印本中提出「信息丰饶悖论」（Information Abundance Paradox）：当训练上下文中的相关信息足够充足时，模型把知识内化进参数的动机反而下降，转而依赖上下文里的现成信息。实验显示，预训练阶段扩大上下文窗口在语言建模、自然语言理解、闭卷多项选择上仅升至中间最优、随后持续下降；在超过阈值的长上下文上训练还会损害模型在短上下文任务上的表现。该发现对「上下文越长越好」的训练直觉构成直接挑战。

已确认

• 提出方为约翰霍普金斯大学研究者；NLP 研究者 Daniel Khashabi 于 8 月 14—16 日多次发布原帖并转发介绍该预印本，博主 burnytech 亦参与转发。
• 核心机制（Daniel Khashabi 的解释）：长上下文训练中，相关知识很容易直接出现在上下文里，模型倾向直接利用上下文、抑制对知识的参数化内化，从而增加对上下文的依赖。
• 预训练实验结论：增大上下文窗口在语言建模、自然语言理解与闭卷多项选择上呈先升后降的中间最优曲线，超过最优点后持续下滑。
• 现象层面：在超过一定阈值的长上下文上训练模型，会降低其在短上下文任务上的性能。

尚未确认

• 帖子提及预印本还考察了监督微调（SFT）阶段，但转发内容被截断，SFT 下的具体结论未在材料中完整呈现。
• 阈值的具体数值、所用模型与数据规模等实验细节未在帖子中披露。

为什么重要

• 直接质疑「一味拉长训练上下文」的行业做法：若长上下文削弱参数化知识，模型的闭卷知识与短任务性能可能与上下文长度此消彼长。
• 对预训练数据构造有参考意义：可能需要在上下文长度与知识内化之间做权衡，控制训练语料中相关信息的丰度。

2026-08-14 ~ 2026-08-16 · 5 条相关

• 长上下文训练反噬模型内化能力，论文揭示信息丰裕悖论 — burny_tech · 2026-08-14
• 新预印本提出"信息丰饶悖论":长上下文反而削弱参数学习 — DanielKhashabi · 2026-08-14
• 【源头】「信息丰饶悖论」：长上下文训练超阈值反伤短任务表现 — DanielKhashabi · 2026-08-15
• 【源头】研究揭示长上下文训练损害短任务性能 — DanielKhashabi · 2026-08-15
• 信息丰裕悖论：长上下文训练反而削弱模型参数知识 — DanielKhashabi · 2026-08-16