「信息丰饶悖论」：长上下文训练超阈值反伤短任务表现
DanielKhashabi · x · 2026-08-15
NLP 研究者 Daniel Khashabi 提出一个现象并命名为「信息丰饶悖论」：当训练使用的上下文长度超过某个阈值后，模型在短上下文任务上的表现反而下降。
他给出的解释是：在长上下文训练中，相关知识很容易直接出现在上下文里，模型把知识内化进参数的激励随之减弱，导致短上下文（知识不在眼前）场景下能力受损。
所属事件:信息丰饶悖论：长上下文训练超阈值反伤短任务表现(5 条相关)→
「模型」频道最新
- anon-1b:用 4chan greentext 微调的 Gemma 开放权重模型 — rickasaurus · 2026-10-16
- 爆料称格局逆转:Astra 6.1 延期,OpenAI 前沿 RL 因安全暂停 — haider1 · 2026-10-16
- Span-02 主打「按截止时间推理」：开放权重决策模型，报告带置信度 — HeyAmit_ · 2026-10-16
- 开发者观察:Clunde 写医疗应用零 bug,娱乐点子却漏洞百出 — repligate · 2026-10-16
- 上海 AI Lab 发布 Intern Lumina U2:单模型统一图像视频 3D 理解与生成 — Shanghai-AI-Laboratory · 2026-10-16
- TWiT 播客拆解 Gemini 4、OpenAI Dots 智能体与 Anthropic IPO 泄露文件 — LouMM · 2026-10-16