复现 Google harness2：Qwen3-9B 通过率从 31% 提到 45%
yb2698 · x · 2026-10-24
作者用 Google harness2 的思路，让 Claude Code 子 agent 为每个任务进化定制 harness，在 TB-Lite 子集上测试 Qwen3-9B：8 任务平均通过率从 31% 升至 45%。
- 起点：每个任务相同的裸 IPython harness（0 工具、278 词 prompt），子 agent 在不给解法的前提下为各任务写定制 Python 工具与新 system prompt，共生成 13 个工具
- 大幅提升：protein-sequence 3→10、corrupted-filesystem 5→10（10 次运行）；但 floor-plan 5→0、sakila-sql 7→4，存在任务间退化
- 关键结论：加工具本身没用——模型自建工具 −2.5 分、通用共享 harness −2.5 分、逐任务进化 harness +13.8 分；工具数量与增益相关性仅 −0.15，「对的工具」比「多的工具」重要
所属事件:复现 Google harness2：Qwen3-9B 通过率 31% 提至 45%(6 条相关)→
「编程与Agent」频道最新
- Linus Torvalds 用 LLM 读懂晦涩内核代码,顺手揪出潜伏 13 年的 4 个 bug — hey_abusiddik · 2026-10-24
- Linus 用 LLM 查 Linux 内核，揪出自 2013 年潜伏的 4 个 bug — hey_abusiddik · 2026-10-24
- Hnshah 自曝沉迷 Grok Bot:80 天建 81 个 Bot、提交 1.8 万次 — elonmusk · 2026-10-24
- Cloudflare Durable Objects:让 Agent 连跑数小时不丢状态 — ritakozlov · 2026-10-24
- LangChain 创始人：把 Skills 当作记忆与大脑，而非静态文件 — hwchase17 · 2026-10-24
- AWS 工程师 AGNTCon 演讲：用 Rust 在编译期拦截 Agent 代码错误 — ShadajL · 2026-10-24