GLM 5.3 Flash 调优后完成率 29%→82%,Beaker 证明先调 harness 再评模型
VictorSanh · x · 2026-11-17
Beaker 团队发文提出:agent 的 harness 和 prompt 通常只针对一个模型构建,换模型后表现变差不一定是模型的锅。比较模型前应先为每个模型调优 agent。Beaker 可自主完成这一过程。
在编码 agent 基准 AppWorld 上对 8 个模型的测试结果:
- GLM 5.3 Flash 未调优时仅完成 29% 测试场景,看似「不擅长写代码」;针对它调优后完成率升至 82%,成本几乎不变(每场景 $0.029→$0.033),速度还快了近一倍(138 秒→76 秒)。
- 调优让多个 initially 低分模型变得有竞争力,模型选型从「谁分数高」变成质量、成本、速度之间的权衡。
- 两个最强的模型需要的调优方向完全不同,文中展示了 Beaker 为每个模型自主发现并验证的所有修改及证据。
结论:选模型前先给每个模型一次公平的「因材施教」,冷门模型可能被严重低估。
所属事件:Beaker:选 Agent 模型别靠感觉,应先调优 harness 再对比(2 条相关)→
「编程与Agent」频道最新
- 桌面被攻破后他重构开发环境:编码 agent 一律赶进云端沙箱 — rseroter · 2026-11-17
- Compound 发布 IC Deck Bench:首个评估 AI 产出投委会级 PPT 的基准 — peterjliu · 2026-11-17
- Confluent Kafka Agent Skills 被赞高质量,附评测可复用 — AdiPolak · 2026-11-17
- itr8 把 Claude、GPT、Gemini、Grok 塞进同一群聊协作 — cantrell · 2026-11-17
- 1000 智能体蜂群实验复盘报告即将发布 — lvwerra · 2026-11-17
- 工程师反思:AI 工作流设计多走弯路,专注产出比堆砌流程更重要 — brandon_galang · 2026-11-17