harness2 复现明细:4 任务大涨 3 任务退化,floor-plan 归零
yb2698 · x · 2026-10-24
harness2 复现线程展示各任务 10 次运行的通过数变化:protein-sequence 3→10、corrupted-filesystem 5→10、chained-forensic 1→5、neural-arch-search 1→5;但 floor-plan 5→0、sakila-sql 7→4、network-log 降 1。定制 harness 带来大涨的同时存在明显任务间退化。
所属事件:复现 Google harness2:Qwen3-9B 通过率 31% 提至 45%(6 条相关)→
「编程与Agent」频道最新
- Chronos:给 agent 用的 Postgres 兼容数据库,违规写入自动拦截 — Antique-Willow-5841 · 2026-10-24
- Agent 沙箱 boat.dev 订阅破千:$20/月按秒计费的 Agent 专用 VM — ycombinator · 2026-10-24
- 把整个产品团队装进一个共享 repo:Claude Code Team OS 实操 — aakashgupta · 2026-10-24
- AI 原生产品团队实操:PM、设计、工程共享一个仓库的四层结构 — aakashgupta · 2026-10-24
- 伯克利 Shreya Shankar 谈数据 Agent:最强模型首轮仅过 61% 查询 — sh_reya · 2026-10-24
- Claude 与 ChatGPT 连接器目录上架审核要点:OAuth、工具标注与实测账号 — Hot_Bee_5451 · 2026-10-24