新论文：前沿基准对上下文压缩意外友好但会丢用户约束
ELLIS 图宾根研究所等机构发布论文《Benchmarks Are Surprisingly Compaction-Friendly》，首次系统评估上下文压缩（compaction）对长程 agent 的影响。团队固定使用 OpenCode 脚手架实测 5 种压缩策略，结论是：在 PaperBench、ProgramBench、PostTrainBench 等前沿基准上，压缩几乎不影响成绩，这些任务出人意料地「压缩友好」。
已确认
- 论文检验了「compaction 是否是通往 AGI 的重大障碍」这一问题，在前沿基准上未发现实质性能影响（maksymandr、PandaAshwinee 多帖一致转述）
- 实验涵盖 Claude、GPT、Gemini 等模型，考察长任务中信息被裁剪的优先级
- 长任务中约束类指令被遗忘的概率是目标类内容的 6 倍：模型倾向裁剪「推进任务不必要」的信息，用户口头叮嘱往往最先消失
- 该研究在日本也引发关注（maksymandr 自述）
为什么重要
- 结果提示前沿基准可能掩盖了 compaction 的真实代价：基准任务缺少需要长期记住的用户约束，因而对压缩不敏感
- 对实际 agent 产品而言，用户偏好、边界条件等「软约束」在长会话中被静默丢弃，是评测难以捕捉的短板；@maksymandr 等作者认为真实会话中压缩仍是 agent 的薄弱环节
2026-10-31 ~ 2026-10-31 · 5 条相关
一手来源
- 新论文：上下文压缩几乎不影响前沿基准成绩，但会悄悄丢掉用户约束 — maksym_andr ·
- 上下文压缩研究：长任务中约束指令被遗忘概率是目标类内容的 6 倍 — maksym_andr ·
- 新论文实测 5 种压缩策略：长程 Agent benchmark 意外地“压缩友好” — maksym_andr ·
- 【源头】新论文：上下文压缩几乎不影响前沿基准成绩，但会悄悄丢掉用户约束 — maksym_andr · 2026-10-31
- 【源头】新论文实测 5 种压缩策略：长程 Agent benchmark 意外地“压缩友好” — maksym_andr · 2026-10-31
- 【源头】上下文压缩研究：长任务中约束指令被遗忘概率是目标类内容的 6 倍 — maksym_andr · 2026-10-31
- 新论文：压缩不影响前沿基准成绩,但真实会话中仍是 agent 短板 — maksym_andr · 2026-10-31
- 论文实测:上下文压缩不影响智能体在前沿基准上的表现 — PandaAshwinee · 2026-10-31