Doc2Harness 基准：19 个前沿模型测编码 Agent，最高通过率仅 53%
_akhaliq · x · 2026-10-16
来自中科院计算所（ICT-CAS）的 Doc2Harness，号称首个针对编码 Agent「长期 harness 工程」能力的基准。
- 覆盖 19 个前沿模型、328 个测试用例
- 最强模型 pass rate 也只有 53%，一半以上任务仍会失败
- 评测重点是 long-horizon 的 harness 工程，即 Agent 在长流程工程任务中的稳定性与编排能力，而非单点代码生成
所属事件:Doc2Harness 基准发布：前沿模型编码 Agent 通过率最高仅 53%(2 条相关)→
「编程与Agent」频道最新
- Vercel 后端升级:Python 正式 GA,新增容器与 Daemons — cramforce · 2026-10-16
- WorldMemArena 中选 NeurIPS:存储式 Agent 记忆评估遭颠覆 — xwang_lk · 2026-10-16
- Vercel Ship 现场宣布容器部署,Go/Ruby/Java 皆可上 — edwin · 2026-10-16
- TRL 零时差支持 Muse Spark Open：64 张 H100 上 LoRA 微调 816B MoE — QGallouedec · 2026-10-16
- 工程师入职首日全靠 AI 提问，第二天就能提交有影响力的 PR — Yuchenj_UW · 2026-10-16
- Perplexity 开源支撑其 Computer 产品的智能体沙箱平台 SPACE — AravSrinivas · 2026-10-16