Doc2Harness 首测 LLM 编程 agent 框架工程:GPT-6 Astra 通过率 53%,近半仍失败
Yuyao Ge · hf · 2026-10-15
中科院计算所、清华、北大等提出 Doc2Harness,首个评测「长时程 harness 工程」的确定性基准——考察模型能否根据接口骨架与开发文档,从零构建一个完整的编码 agent 外围框架(harness)。
- 两阶段设计:Stage 1 由 build 模型在固定 builder harness 内,依据只含接口的契约骨架和汇总 12 个前沿 harness 行为的开发文档,在隔离容器中构建候选 harness;Stage 2 将冻结的候选 harness 与构建环境隔离,由脚本化 mock 模型端到端驱动,用四条可观察通道(模型请求、磁盘文件、进程退出码、命令输出)打分,并以阳性对照排除空洞通过。
- 结果:19 个前沿模型各 3 次独立构建、328 个测试用例,GPT-6 Astra 以 53.05% 通过率居首,最弱模型 27.44%;即使最强模型也近乎半数失败,失败集中在跨模块功能的划分上。
「编程与Agent」频道最新
- Reddit 热议:做 AI Agent 的人正在丢掉基础软件工程 — Dangerous_Bus4157 · 2026-10-15
- Gemini CLI 修复后台 Git 更新检查劫持终端 TUI 的冻结问题 — villahernandez-coder · 2026-10-15
- Player-1：强化学习让 VLM 智能体零迁移玩转 GTA V — yshan2u · 2026-10-15
- AI 工程与 Agent 工程有何区别：一个造产品，一个把 Agent 编进团队 — Al_Grigor · 2026-10-15
- 用 Cursor+Gemini 4 Argon 做出多人联机 3D 夺旗游戏 — FinanceYF5 · 2026-10-15
- 用户实测：Opus 5.5 代码能力大涨，写出的英文文案却怪到没法用 — indragie · 2026-10-15