实测 Pi harness 改动难提升 Qwen 跑分

用户 yb2698 基于 Pi 0.84.4 编码 harness 开展了一组系统消融实验，试图回答「为 Qwen 模型定制 agent harness 能否提升跑分」。结论出乎意料：几乎什么都不能提升通过率，个别改动甚至带来负收益。

已确认

• 实验从 Pi 0.84.4 出发，仅调整可插拔的 Pi 扩展与表层设置（系统提示、工具定义、环境输出处理等），并刻意保持组件易于修改、未来可插拔以便分发给社区。
• 测试模型为 Qwen3.5-9B（Terminal-Bench Lite easy 子集 24 题）与 Qwen3.8-27B（easy+medium 共 48 题），基准来自 open-thoughts 的 Terminal-Bench Lite。
• 消融了五种变体：verify-nudge（提交前让模型自查）、lean-prompt（更短系统提示）、qwen-code-tools（工具名改为 Qwen Code 命名）等，Qwen 相关改动均未带来预期收益。
• 换成完整 Qwen Code 界面后，小模型成绩反而下降 5.3 分。

为什么重要

• 实验对「为特定模型定制 harness 可榨取更高跑分」的常见假设泼了冷水，提示在 Terminal-Bench Lite 这类基准上，harness 层的表层定制收益可能非常有限。
• 作者保持改动可插拔、便于社区分发的做法，为他人复现和继续实验提供了便利，后续结果是否在其他模型或基准上复现仍值得观察。

2026-10-12 ~ 2026-10-12 · 5 条相关

• 【源头】折腾 Pi harness 能否提升 Qwen 跑分？实测所有改动都没动通过率 — yb2698 · 2026-10-12
• 同上：Qwen 双模型 TB Lite 实验设置细节与 open-thoughts 基准仓库 — yb2698 · 2026-10-12
• 【源头】Pi 0.84.4 发布：harness 只动可插拔扩展与提示词等表层设置 — yb2698 · 2026-10-12
• Pi harness 五种变体消融：Qwen 相关改动均未带来预期收益 — yb2698 · 2026-10-12
• 【源头】实测泼冷水：换成完整 Qwen Code 界面，小模型成绩反降 5.3 分 — yb2698 · 2026-10-12