Beaker 自动调优 agent harness：GPT-5.2 任务完成率从 30% 提到 48%
VictorSanh · x · 2026-11-04
Beaker 团队发布预览版工具：许多情况下你等的新模型能力，其实今天模型调好 harness 就能拿到。
核心数据：在 AutomationBench agent 上，GPT-5.2 未调优 harness 下完成 30% 的 held-out 任务，Beaker 调优后达 48%——比九个月后发布的新模型（39%）还高。
佐证案例：
- OpenAI 仅改两处 harness 设置（保留回合间推理、压缩旧上下文），把 GPT-5.6 Sol 的 ARC-AGI-3 从 13.3% 提到 38.3%，输出 token 减少约 6 倍
- LangChain 只改 prompt、工具和 middleware，编码 agent 在 Terminal Bench 2.0 从 52.8 提到 66.5
- Databricks 实测同一模型走不同 harness，单任务成本差超 2 倍（每回合上下文差约 3 倍）
Beaker 工作方式：读取 agent 输出、分析 trace、提出改动假设、逐一测试并保留有效改动。每个模型在 120 个训练任务上分别调优。结论：harness 决定了你能从模型身上实际拿到多少能力。
所属事件:Hugging Face 发布 Beaker：调优 harness 后旧模型反超新模型(8 条相关)→
「编程与Agent」频道最新
- YC 孵化 Simantic:用仿真层让 AI 智能体按软件速度测试固件 — ycombinator · 2026-11-04
- Bittensor 子网 33 上线 Skill Store:经测试的技能库让开源模型干前沿活 — markjeffrey · 2026-11-04
- 用 Microsoft Copilot Harness 搭 24 小时新闻台：关键在编辑流程而非提示词 — WirelessLife · 2026-11-04
- Polyphonic 将为 AI agent 配专属 Mac,引入开源 terminal-mac — RileyRalmuto · 2026-11-04
- 开发者用 Claude 逆向 ResMed CPAP 呼吸机固件，怒斥 Anthropic 分类器拦截救命项目 — ryunuck · 2026-11-04
- Salesforce 开源 Pronto 示例应用，演示 MCP 服务器暴露业务逻辑 — msrivastav13 · 2026-11-04