小模型配定制 harness：10 个任务里 4 个提升 4–7 次运行，工具数量与增益相关性仅 −0.15

yb2698 · x · 2026-10-24

作者分享一组 agent 评测结果：在 8 个任务 × 10 次运行的设置下，4 个任务提升 4–7 次运行，3 个下降，1 个持平。结论是「定制 harness 能从小模型里榨出很多能力」，但样本量小、方差大，应视为需要扩大规模的信号而非最终结论。

作者特别指出不能只数工具数量：floor-plan 任务给了 3 个工具和 452 词 prompt，结果 −5 次运行；protein-sequence 只给 1 个工具，却 +7 次运行。工具数量与增益的相关系数为 −0.15——关键是「对的工具」，不是工具多少。