新论文:压缩不影响前沿基准成绩,但真实会话中仍是 agent 短板
maksym_andr · x · 2026-10-31
一项新研究测试了 compaction(上下文压缩)对 agent 性能的影响,结论是:在 PaperBench、ProgramBench、PostTrainBench 等前沿基准上,压缩几乎不影响成绩——这些任务意外地「压缩友好」,agent 通常能通过 AGENTS.md、代码仓库、网页搜索等从环境中重建丢失的信息。
但为什么实践中很多人觉得压缩有害?作者的解释是:真实用户会话中,用户会持续输入大量约束和偏好,agent 目前难以持续追踪这些信息。Jeffrey Ma 评论称这解释了模型为何让人感觉「benchmaxxed」:SWE 评测非常马尔可夫式,代码库本身就是 agent 记忆,天然利于压缩;而真实 agent 使用是多轮、部分可观测的,需求会随执行被推翻。
所属事件:新论文:前沿基准对上下文压缩意外友好但会丢用户约束(5 条相关)→
「编程与Agent」频道最新
- krishnan 点评多智能体自主实验室:批评改变了下一步搜索方向 — krishnan · 2026-10-31
- 给 Agent 加「拒绝记录」再试错:多智能体排障的工业级实验设计 — krishnan · 2026-10-31
- krishnan 提议:记录故障排查中被否决的解释,留作未来重开的证据 — krishnan · 2026-10-31
- 东京科学大学预印本:多智能体 AI 实验室自主研究金刚石量子自旋 — krishnan · 2026-10-31
- PI 智能体 30 小时否决 75 个提案,管理者据此排除重复坏方向 — krishnan · 2026-10-31
- 后续 9 个提案探索 7 个新方向:拒绝成了信息而非判词 — krishnan · 2026-10-31