Beaker:选 Agent 模型别靠感觉,应先调优 harness 再对比
Beaker 团队发文指出,多数团队凭「感觉」为 agent 选模型,而 agent 的 harness 和 prompt 通常只针对单一模型构建,换模型后表现下滑未必是模型本身的问题。Beaker 主张改用实验数据决策:为每个候选模型自动调优 agent 的 harness 再进行评测。实验显示,GLM 5.3 Flash 经调优后任务完成率从 29% 大幅提升至 82%。
2026-11-17 ~ 2026-11-17 · 2 条相关
- Beaker:别凭感觉选 Agent 模型,用实验数据说话 — VictorSanh · 2026-11-17
- GLM 5.3 Flash 调优后完成率 29%→82%,Beaker 证明先调 harness 再评模型 — VictorSanh · 2026-11-17