Beaker:选 Agent 模型别靠感觉,应先调优 harness 再对比

Beaker 团队发文指出,多数团队凭「感觉」为 agent 选模型,而 agent 的 harness 和 prompt 通常只针对单一模型构建,换模型后表现下滑未必是模型本身的问题。Beaker 主张改用实验数据决策:为每个候选模型自动调优 agent 的 harness 再进行评测。实验显示,GLM 5.3 Flash 经调优后任务完成率从 29% 大幅提升至 82%。

2026-11-17 ~ 2026-11-17 · 2 条相关