信息丰裕悖论：长上下文训练反而削弱模型参数知识
DanielKhashabi · x · 2026-08-16
约翰霍普金斯大学的研究者提出“信息丰裕悖论”：训练上下文中大量相关信息会降低模型将其参数化编码的动机，从而增加对上下文的依赖。预训练中，增加上下文窗口在语言建模、自然语言理解和闭卷多项选择上仅提升至中间最优值，之后持续下降。监督微调中，更多任务相关上下文在提供支持时提升性能，但在测试时上下文缺失或误导时鲁棒性下降。机制上，长上下文训练将梯度压力从前馈网络转移，影响参数知识存储。
所属事件:信息丰饶悖论：长上下文训练超阈值反伤短任务表现(5 条相关)→
「模型」频道最新
- OpenAI 未发布模型开源 722 篇数学论文,数学界炸锅 — thursdai_pod · 2026-10-16
- Fable 5/5.1 被观察到异常执着于「记录与存档」行为 — repligate · 2026-10-16
- 同一提示词下 Gemini 4 Argon 在 AI Studio 与 AI Mode 表现差距明显 — gaganghotra_ · 2026-10-16
- 长期实测发现:AI 编程犯错方式与人类完全不同,越强的模型错得越离谱 — Mu5_ · 2026-10-16
- ChatGPT 界面截图曝光：Wallet 功能即将上线，健康财务全接入 — jxnlco · 2026-10-16
- 网友看淡下代模型:缺原生听觉与视频输入是硬伤 — imjustnewatai · 2026-10-16