harness 复现续:工具加得多≠涨分,相关性仅 −0.15
yb2698 · x · 2026-10-24
作者在 harness2 复现线程中补充关键反直觉发现:工具数量与通过率增益的相关性仅 −0.15——floor-plan 加了 3 个工具和 452 词 prompt 反而少过 5 次,protein-sequence 只加 1 个工具却多过 7 次。结论是「加对工具」才重要,堆数量无用。
所属事件:复现 Google harness2:Qwen3-9B 通过率 31% 提至 45%(6 条相关)→
「编程与Agent」频道最新
- Google 发布 PLE 基准:最强 agent 做工程交付仅得 50.6 分 — dair_ai · 2026-10-24
- LangChain 用 skills 和设计 wiki 给 design agent 注入「品味」 — LangChain · 2026-10-24
- Chronos:给 agent 用的 Postgres 兼容数据库,违规写入自动拦截 — Antique-Willow-5841 · 2026-10-24
- Agent 沙箱 boat.dev 订阅破千:$20/月按秒计费的 Agent 专用 VM — ycombinator · 2026-10-24
- 把整个产品团队装进一个共享 repo:Claude Code Team OS 实操 — aakashgupta · 2026-10-24
- AI 原生产品团队实操:PM、设计、工程共享一个仓库的四层结构 — aakashgupta · 2026-10-24