不改模型只调 harness：旧款 GPT-5.2 从 30% 提到 48%，反超新一代
VictorSanh · x · 2026-11-04
Beaker 团队用自动化 agent 调优实验论证「别等下一个模型」：
- 在 AutomationBench（Zapier 式跨 Gmail/Slack/Sheets/Salesforce 的业务任务）上，GPT-5.2 在未调优 harness 下完整完成 30% 的held-out任务；Beaker 围绕该模型单独调优 harness 后提升到 48%。
- 而 9 个月后发布的 GPT-6 Luna 在同样未调优 harness 下只完成 39%——旧模型调优后反超新模型近 10 个百分点。
- 作者引用多个旁证：OpenAI 通过保留轮间推理与压缩上下文把 GPT-5.6 Sol 的 ARC-AGI-3 从 13.3% 提到 38.3%（输出 token 少约 6 倍）；LangChain 仅改 prompt/工具/middleware 就把编码 agent 在 Terminal Bench 2.0 从 52.8 提到 66.5；Databricks 发现不同 harness 在同一模型上单任务成本差可达 2 倍以上，主因是每轮上下文少发 3 倍。
结论：AI 工程师等待的能力可能已存在于当前模型中，问题在于 harness 是否在跟模型「作对」。
所属事件:Hugging Face 发布 Beaker：调优 harness 后旧模型反超新模型(7 条相关)→
「编程与Agent」频道最新
- Playwright 官方辟谣：无需删除，MCP 走的是你本机的稳定版 Chrome — Kyrannio · 2026-11-04
- Yuchen 称团队已自动批准大量 AI 代码评审或将消亡 — Yuchenj_UW · 2026-11-04
- 用 Codex 写 MCP 技能，让 YuE2 稳定生成纯伴奏 — ActIcy7831 · 2026-11-04
- NVIDIA 发布 NeMo Relay,深度解析 Hermes Agent 追踪链路 — NVIDIAAI · 2026-11-04
- Anthropic 工程师警示「认知投降」：越用 AI 编码越难监督 AI — gdechichi · 2026-11-04
- vibe coding 十项体检：从异步并行到 N+1 查询的系统审查清单 — weskambale · 2026-11-04