对照实验:逐任务进化 harness +13.8 分,通用 harness 反降 2.5 分
yb2698 · x · 2026-10-24
harness2 复现线程的消融对比:模型运行中自定义工具 −2.5 分,所有任务共用一个通用 harness −2.5 分,而为每个任务进化定制 harness(harness2)+13.8 分。「按任务裁剪 harness」才是涨分关键,对小模型同样成立。
所属事件:复现 Google harness2:Qwen3-9B 通过率 31% 提至 45%(6 条相关)→
「编程与Agent」频道最新
- TURTLE 论文:用进化搜索自动生成高难度工具使用基准,AppWorld 难题占比提升 165% — MichaelD1729 · 2026-10-24
- Google 发布 PLE 基准:最强 agent 做工程交付仅得 50.6 分 — dair_ai · 2026-10-24
- LangChain 用 skills 和设计 wiki 给 design agent 注入「品味」 — LangChain · 2026-10-24
- Chronos:给 agent 用的 Postgres 兼容数据库,违规写入自动拦截 — Antique-Willow-5841 · 2026-10-24
- Agent 沙箱 boat.dev 订阅破千:$20/月按秒计费的 Agent 专用 VM — ycombinator · 2026-10-24
- 把整个产品团队装进一个共享 repo:Claude Code Team OS 实操 — aakashgupta · 2026-10-24