Doc2Harness 基准发布：前沿模型编码 Agent 通过率最高仅 53%

中科院计算所联合清华、北大等机构推出 Doc2Harness，首个评测大模型「长时程 harness 工程」能力的确定性基准。该基准要求模型根据接口骨架与开发文档，从零构建完整的编码 agent 框架，覆盖 19 个前沿模型、328 个测试任务。测试结果显示，表现最好的 GPT-6 Astra 通过率也仅 53%，近半任务仍告失败，揭示当前模型在长期工程化编码能力上的明显短板。

2026-10-15 ~ 2026-10-16 · 2 条相关

• Doc2Harness 首测 LLM 编程 agent 框架工程:GPT-6 Astra 通过率 53%,近半仍失败 — Yuyao Ge · 2026-10-15
• Doc2Harness 基准：19 个前沿模型测编码 Agent，最高通过率仅 53% — _akhaliq · 2026-10-16