Hugging Face 工程师：换开源模型不调 eval harness，成绩能差一个数量级
VictorSanh · x · 2026-11-05
Hugging Face 的 Victor Sanh 指出一个常见误区：团队从闭源模型切换到开源模型时，往往只换模型、保留原有评测 harness，结果低估了新模型的真实能力。
配图（Score vs cost，held-out 场景完成率）显示，GPT-6 Luna、MiMo-V2.6-Flash、Claude Haiku 5.5、GLM 5.3 Flash、Gemini 3.5 Flash Lite、DeepSeek V4.1 Flash、Kimi K3、Gemini 3.8 Flash 等模型在针对新模型优化 harness（Beaker 优化）后，成绩普遍大幅提升，部分场景从 30%-75% 跃升至接近 100%，且平均单场景成本仅 $0.01-$0.40，远低于 GPT-6 Astra 共享基线的 $0.60。
结论：同等性能可以做到便宜一个数量级，但前提是为新模型调优评测 harness，否则评测只会在最差状态下评判它。
所属事件:别等新模型：Beaker 调优 agent harness 让旧模型反超 SOTA(10 条相关)→
「模型」频道最新
- Perceptron新3D手部模型：重建精度比ACE-Ego-Hand高12-25% — gui_penedo · 2026-11-05
- 0.8B 小模型登顶开源流式安全护栏，超越大 5-10 倍的对手 — const_reborn · 2026-11-05
- RoboColosseum 真机测试:MolmoAct 2 仅次于 GPT-6 Astra 居第二 — DJiafei · 2026-11-05
- 用户晒 Claude Max 订阅账单：月费 100 美元换来 Opus 接近无限量 — prasenx · 2026-11-05
- 改 0.0002% 权重无训练胜原模型，MIT 提出权重空间编程 — dbreunig · 2026-11-05
- Ricursive 发布 65B 开源权重模型 Ripple,登顶美国开源 agentic coding SOTA — DZhang50 · 2026-11-05