新预印本提出"信息丰饶悖论":长上下文反而削弱参数学习
DanielKhashabi · x · 2026-08-14
新预印本提出"信息丰饶悖论"(Information Abundance Paradox):当训练上下文中的相关信息足够充足时,模型把信息内化进参数的动机反而下降——更长的上下文可能削弱 LLM 的参数化学习。
换句话说,上下文里现成答案越多,模型越倾向于直接"抄上下文",而不是把知识真正写进权重。这对长上下文训练与数据配比策略都有直接启示。
所属事件:信息丰饶悖论：长上下文训练超阈值反伤短任务表现(5 条相关)→
「研究」频道最新
- MIT 生物系联合计算学院招聘计算生物学助理教授，欢迎生成式 AI 方向 — anshulkundaje · 2026-10-16
- 开发者在 Colab 持续预训练 Luganda 语小模型，8 小时跑到 41% — weskambale · 2026-10-16
- Sakana AI 推出 Agentic Scientist:用编码智能体自动化科学发现 — hardmaru · 2026-10-16
- MAI-Base-2 训练报告采用把 1/(weight_decay·lr) 视作时间尺度的缩放规则 — SeunghyunSEO7 · 2026-10-16
- 仅 108M 参数的文生图去噪模型 Surjo-Image-Preview 开源 — Consistent-Rule-3720 · 2026-10-16
- 19 个单位方块最优装箱问题有了 Lean 形式化证明 — ctjlewis · 2026-10-16