新论文：上下文压缩几乎不影响前沿基准成绩，但会悄悄丢掉用户约束
maksym_andr · x · 2026-10-31
ELLIS 图宾根研究所等机构的论文《Benchmarks Are Surprisingly Compaction-Friendly》系统检验了 agent 脚手架中的 compaction（上下文压缩）问题。团队固定使用 OpenCode 脚手架，实现 5 种压缩策略，在 PaperBench、ProgramBench、PostTrainBench 三个长程基准上评测三款前沿模型。
主要发现：
- 对两个 1M 上下文模型，压缩阈值高低几乎不影响任务成绩；上下文最小的 GPT-5.3-Codex 在低阈值下于 PaperBench 表现变差。没有任何压缩方法优于不压缩的自我摘要。
- 但压缩会静默丢失任务约束：ProgramBench 上首次压缩平均就丢掉约 1/3 的反作弊规则，且随压缩次数单调上升。
- SWE-chat 用户会话评测显示，「agent 该如何工作」的指令被丢弃的概率约为「要构建什么」的 6 倍。
作者解释了与实践体感的矛盾：基准任务目标是固定且可从环境（AGENTS.md、代码库、网络搜索）恢复的，所以基准「压缩友好」；而真实用户会话中用户持续施加的约束与偏好难以在外部记忆中追踪，这才是 compaction 体验差的根源。
所属事件:新论文：前沿基准对上下文压缩意外友好但会丢用户约束(5 条相关)→
「编程与Agent」频道最新
- krishnan 点评多智能体自主实验室：批评改变了下一步搜索方向 — krishnan · 2026-10-31
- 给 Agent 加「拒绝记录」再试错：多智能体排障的工业级实验设计 — krishnan · 2026-10-31
- krishnan 提议：记录故障排查中被否决的解释，留作未来重开的证据 — krishnan · 2026-10-31
- 东京科学大学预印本：多智能体 AI 实验室自主研究金刚石量子自旋 — krishnan · 2026-10-31
- PI 智能体 30 小时否决 75 个提案，管理者据此排除重复坏方向 — krishnan · 2026-10-31
- 后续 9 个提案探索 7 个新方向：拒绝成了信息而非判词 — krishnan · 2026-10-31