新预印本提出"信息丰饶悖论":长上下文反而削弱参数学习
DanielKhashabi · x · 2026-08-14
新预印本提出"信息丰饶悖论"(Information Abundance Paradox):当训练上下文中的相关信息足够充足时,模型把信息内化进参数的动机反而下降——更长的上下文可能削弱 LLM 的参数化学习。
换句话说,上下文里现成答案越多,模型越倾向于直接"抄上下文",而不是把知识真正写进权重。这对长上下文训练与数据配比策略都有直接启示。
所属事件:研究提出信息丰饶悖论长上下文或削弱参数学习(4 条相关)→
「研究」频道最新
- 动态短卷积：改进 Transformer 表达能力的新方法 — Cohere · 2026-08-15
- 论文：用机器学习工具连接海马体理论与神经计算 — AndrewLampinen · 2026-08-15
- 新论文揭示AI泛化失败的潜在学习差距，情景记忆或可弥补 — AndrewLampinen · 2026-08-15
- TEMPO 作者释疑：递归自我批评+宏步价值估计生成密集信号 — teortaxesTex · 2026-08-15
- 微软提出 RadFusion，实现可调节阈值的放射科报告生成 — erichorvitz · 2026-08-15
- 新论文提出“潜在阅读”：用机器学习解读《芬尼根的守灵夜》 — begusgasper · 2026-08-15