Pi harness 五种变体消融:Qwen 相关改动均未带来预期收益
yb2698 · x · 2026-10-12
该帖是上述消融实验的原始说明:作者从 Pi 0.84.4 出发,只修改可插拔的 Pi 扩展或系统提示、工具定义、环境输出处理等设置,设计了五种变体——verify-nudge、lean-prompt、qwen-code-tools、qwen-sampling、qwen-code-full。作者原本预期 qwen-code 相关改动信号最强(假设 Qwen 模型大量在自家 harness 上训练),结果如配图所示均无显著提升,完整 Qwen Code 界面对小模型反而有害。这些改动保持简单可插拔,计划以 Pi 扩展形式发布给社区。
所属事件:实测 Pi harness 改动难提升 Qwen 跑分(5 条相关)→
「编程与Agent」频道最新
- Cursor Composer 多行预测接受率约 60%,用户直呼回到连按 Tab 时代 — rudrank · 2026-10-13
- Nace AI 推出 35B 决策模型 Drex 2.0,3B 激活参数超越 Jev — techNmak · 2026-10-13
- YC 支持的 Sentient OS:本地 AI 整夜读懂你的生活并代操电脑 — Scobleizer · 2026-10-13
- 工程实践:用 pre-push hook 让第二个模型对抗式审查代码再放行 — curious_vii · 2026-10-13
- 把 AI 编码成本追踪到单个 PR:zeeg 的 slop 仪表盘实践 — zeeg · 2026-10-13
- restless_hq 推「自进化 API」:请求携带上下文,Agent 可用实时日志自调试 — cneuralnetwork · 2026-10-13