同模型不同 Harness：编程 Agent 性能受上下文策略影响巨大
rohanpaul_ai · x · 2026-08-31
研究对比了 Yuj 编程 Agent 在两种配置下的表现：对照组保留完整对话历史，实验组则压缩旧工具输出并检测卡顿行为。在 20k token 窗口的 SWE-bench Verified 任务上，Qwen2.5-Coder 的任务平均 F2PF 从 28% 升至 49%，完整解决方案从 43 个增至 72 个。这种改进在 262k token 的宽窗口下消失。研究表明，评估编程 Agent 应将模型、Harness、上下文策略等视为整体求解器。
所属事件:研究发现编程 Agent 性能高度依赖 Harness 上下文策略(2 条相关)→
「编程与Agent」频道最新
- 曝 OpenAI 暗测内部神秘模型 Aeon：已现身 Codex 桌面版用量面板 — cedric_chee · 2026-10-16
- 用 Codex 17分钟写好 iPhone Duo 抢购程序，41项测试通过 — xiaohu · 2026-10-16
- 多玩家长期记忆产品登顶 BEAM 记忆基准，一条 prompt 即可安装 — CurieuxExplorer · 2026-10-16
- 生成式 CAD 工具 NativeCAD 提供 177 个 MCP 工具，85% 以上英文建零件需求可通过 — burhop · 2026-10-16
- Flux AI CAD 支持导入 STEP 文件后用自然语言直接改型 — burhop · 2026-10-16
- 同时开 50 个 AI 任务是充电还是烧脑?开发者吵起来了 — zack_overflow · 2026-10-16