研究提出信息丰饶悖论长上下文或削弱参数学习

新研究提出“信息丰饶悖论”，指出当训练使用的上下文长度超过一定阈值时，模型在短上下文任务上的表现反而下降。这是因为过长的上下文降低了模型将信息内化进参数的动机。

2026-08-14 ~ 2026-08-15 · 4 条相关

• 长上下文训练反噬模型内化能力，论文揭示信息丰裕悖论 — burny_tech · 2026-08-14
• 新预印本提出"信息丰饶悖论":长上下文反而削弱参数学习 — DanielKhashabi · 2026-08-14
• 「信息丰饶悖论」：长上下文训练超阈值反伤短任务表现 — DanielKhashabi · 2026-08-15
• 研究揭示长上下文训练损害短任务性能 — DanielKhashabi · 2026-08-15