GLM 5.3 Flash 从 29% 到 82%:Beaker 证明换模型必须先调 harness
VictorSanh · x · 2026-11-05
Beaker 团队发帖指出：换模型不改 harness，eval 结果会严重低估模型能力。在 AppWorld 编码 agent 基准上，GLM 5.3 Flash 未调优时只完成 29% 的场景，看似「不会写代码」；Beaker 自动为它调优 harness 后，完成率跳到 82%，速度近翻倍（138s→76s），成本基本不变（每场景约 $0.03）。
- Beaker 的工作方式：读取 agent 输出 → 分析 traces → 提出改动假设 → 测试并保留有效改动，全程自主。
- 关键发现：测试的 8 个模型中，调优让多个原本垫底的模型变得有竞争力；最强的两个模型需要的调优方向完全不同。
- 结论：模型对比应先按各自模型调优 harness，再把选择归结为成绩/成本/速度的权衡；从闭源切开源模型，不调 harness 会白白损失能力。
Beaker 已开放 preview。
所属事件:别等新模型：Beaker 调优 agent harness 让旧模型反超 SOTA(10 条相关)→
「编程与Agent」频道最新
- Notion 让 ChatGPT/Claude 等智能体共用一个「共享大脑」 — nbaschez · 2026-11-05
- 用户用 Claude 越狱 NordicTrack 跑步机，免掉每月 39 美元解锁 Netflix — peterjliu · 2026-11-05
- 独立开发者 SammHo 分享:用一份产品简报喂出 launch/changelog/营销全套内容 — SammHo · 2026-11-05
- ex-Google 产品负责人 12 月 17 日免费直播：用 Linear 上下文搭 GTM agent — SammHo · 2026-11-05
- SammHo:先写骨架产品简报再上 agent,Linear 工单就是上下文 — SammHo · 2026-11-05
- Nous Research 统一 Hermes Agent 插件市场，已有 976 个插件 — NousResearch · 2026-11-05