折腾 Pi harness 能否提升 Qwen 跑分？实测所有改动都没动通过率
yb2698 · x · 2026-10-12
作者尝试为 Qwen 系列模型优化 Pi agent harness，在 Terminal-Bench Lite 上系统测试了各种改动，结论出乎意料：几乎什么都不能提升通过率。
- 测试模型：Qwen3.5-9B（24 道 easy 题，Pi 基线 54%）与 Qwen3.8-27B（48 道 easy+medium 题，基线 77%）。
- 选用 open-thoughts 的 TB Lite：信号与 Terminal-Bench 2 相近但便宜得多，对小模型也有意义。
- 测过的改动：verify-nudge（ finish 前要求自查）、精简系统提示、把工具名改成 Qwen Code 同名、采用模型卡的采样参数、甚至把整个 Qwen Code 接口塞进 Pi。
- 结果（95% 置信区间均含 0）：9B 上 verify-nudge +2.1、Qwen Code 完整接口 -5.3；27B 上 verify-nudge +4.6、qwen-code-tools +4.5，但无一显著。作者据此把 harness 各组件做成可插拔的 Pi extension 开源给社区。
所属事件:实测 Pi harness 改动难提升 Qwen 跑分(5 条相关)→
「编程与Agent」频道最新
- Cursor Composer 多行预测接受率约 60%,用户直呼回到连按 Tab 时代 — rudrank · 2026-10-13
- Nace AI 推出 35B 决策模型 Drex 2.0，3B 激活参数超越 Jev — techNmak · 2026-10-13
- YC 支持的 Sentient OS:本地 AI 整夜读懂你的生活并代操电脑 — Scobleizer · 2026-10-13
- 工程实践:用 pre-push hook 让第二个模型对抗式审查代码再放行 — curious_vii · 2026-10-13
- 把 AI 编码成本追踪到单个 PR：zeeg 的 slop 仪表盘实践 — zeeg · 2026-10-13
- restless_hq 推「自进化 API」:请求携带上下文,Agent 可用实时日志自调试 — cneuralnetwork · 2026-10-13