「信息丰饶悖论」：长上下文训练超阈值反伤短任务表现
DanielKhashabi · x · 2026-08-15
NLP 研究者 Daniel Khashabi 提出一个现象并命名为「信息丰饶悖论」：当训练使用的上下文长度超过某个阈值后，模型在短上下文任务上的表现反而下降。
他给出的解释是：在长上下文训练中，相关知识很容易直接出现在上下文里，模型把知识内化进参数的激励随之减弱，导致短上下文（知识不在眼前）场景下能力受损。
所属事件:研究提出信息丰饶悖论长上下文或削弱参数学习(4 条相关)→
「模型」频道最新
- 用户反馈 Gemini 网页版变弱：拒绝搜索且遗忘上下文 — yenkel · 2026-08-15
- Anthropic 分享构建高性价比 Agent 的技巧 — brada · 2026-08-15
- Bittensor 发布 10B 去中心化 LLM，性能超 18B 竞品 — const_reborn · 2026-08-15
- 修复并改进 Qwen 3.8 聊天模板：解决推理与工具调用问题 — Chromix_ · 2026-08-15
- GLM 5.3 上线 Arena，支持 Battle 和 Agent 模式 — arena · 2026-08-15
- Gemini 3.7 Flash 现已上线 Gemini App — GeminiApp · 2026-08-15