同模型不同 Harness:编程 Agent 性能受上下文策略影响巨大
rohanpaul_ai · x · 2026-08-31
研究对比了 Yuj 编程 Agent 在两种配置下的表现:对照组保留完整对话历史,实验组则压缩旧工具输出并检测卡顿行为。在 20k token 窗口的 SWE-bench Verified 任务上,Qwen2.5-Coder 的任务平均 F2PF 从 28% 升至 49%,完整解决方案从 43 个增至 72 个。这种改进在 262k token 的宽窗口下消失。研究表明,评估编程 Agent 应将模型、Harness、上下文策略等视为整体求解器。
所属事件:研究发现编程 Agent 性能高度依赖 Harness 上下文策略(2 条相关)→
「编程与Agent」频道最新
- 相连的步骤≠工作流:Agent 跨应用交接无人把关 — usehive · 2026-10-16
- 用 Opus/Astra/Argon 生成 Blender 动画:怎么描述依然决定成败 — chongdashu · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline,约 90 tok/s — rpwoerk · 2026-10-16
- 模型能力还是基础设施?Agent 评测的分层归因难题 — jrxna · 2026-10-16
- 让 Claude 读完书和高手代码再写 claude.md,「已比我写得好」 — blaizedsouza · 2026-10-16
- Claude Code 插件 /label:一步自动命名并着色会话 — hermanschutte · 2026-10-16