复现 Google harness2：Qwen3-9B 通过率 31% 提至 45%

@yb2698 复现了 Google harness2 的做法：让 Claude Code 子 agent 为每个任务进化定制 harness，在 TB-Lite 子集（8 任务 × 10 次运行）上测试 Qwen3-9B，平均通过率从 31% 升至 45%。消融与任务级明细显示「按任务裁剪 harness」是涨分关键，而工具数量本身与增益几乎无关。作者强调样本量小、方差大，应视为需要扩大规模验证的信号。

已确认

• 所有任务从同一个裸 harness 起步：IPython kernel、0 个工具、278 词 prompt，由 Claude Code 子 agent 为 7 个任务编写定制 Python 工具与新 system prompt，共产出 13 个定制工具
• 整体效果：8 任务平均通过率从 31% 升至 45%
• 消融对比：模型运行中自定义工具 −2.5 分；所有任务共用一个通用 harness −2.5 分；逐任务进化定制 harness（harness2）+13.8 分
• 任务级结果（10 次运行通过数）：protein-sequence 3→10、corrupted-filesystem 5→10、chained-forensic 1→5；共 4 个任务大涨、3 个任务退化、floor-plan 归零，另 1 个任务持平（4 个任务各提升 4–7 次运行）
• 工具数量与通过率增益的相关性仅 −0.15：floor-plan 加了 3 个工具和 452 词 prompt 反而少过 5 次，protein-sequence 只加 1 个工具却大涨

为什么重要

• 消融表明涨分来自「逐任务裁剪 harness」而非工具堆砌，为 agent 评测的设计提供了可复现证据
• 结果说明定制 harness 能从小模型里榨出相当多的能力，评测 harness 的选择会显著影响模型成绩
• 作者本人提醒：样本量小、方差大，该结论应被视为需要扩大规模验证的信号，而非定论

2026-10-24 ~ 2026-10-24 · 6 条相关

• 【源头】复现 Google harness2：Qwen3-9B 通过率从 31% 提到 45% — yb2698 · 2026-10-24
• harness2 复现设置：Claude Code 子 agent 为 7 任务写 13 个定制工具 — yb2698 · 2026-10-24
• harness2 复现明细：4 任务大涨 3 任务退化，floor-plan 归零 — yb2698 · 2026-10-24
• 【源头】对照实验：逐任务进化 harness +13.8 分，通用 harness 反降 2.5 分 — yb2698 · 2026-10-24
• 【源头】harness 复现续：工具加得多≠涨分，相关性仅 −0.15 — yb2698 · 2026-10-24
• 小模型配定制 harness：10 个任务里 4 个提升 4–7 次运行，工具数量与增益相关性仅 −0.15 — yb2698 · 2026-10-24