HANDBOOK.md 基准：65 个任务测 agent 遵守长政策文档，最佳仅 36.2%

bibryam · x · 2026-10-12

• 基准设计：HANDBOOK.md 模拟员工按公司手册工作的场景，65 个 agent 任务放在含 mock 邮件、聊天、日历、工单和电商服务（经 MCP 暴露）的虚拟公司环境中，agent 须遵守 20–124 页的专家撰写的 SOP，覆盖金融、医疗计费、保险、物流、HR 五个领域、10 家虚构公司。
• 防背题：每个任务都改写自 10 份基础手册，变更评分依赖的具体规则和阈值，无两任务共享同一套政策；评分完全确定性，共 824 条程序化判据。
• 核心发现：测了 30 个配置，最佳在严格评分下通过率仅 36.2%；若允许一次失败，最高分几乎翻倍——说明 agent 常是「差一点」失败，关键约束需要 pass-or-fail 评估。
• 模型对比（图中）：Opus 4.8 (max) 严格 pass@1 约 23%、pass@(N-1) 近 50% 居首；GPT-5.5、GLM 5.2、Gemini 3.5 Flash 等依次递减，Grok 4.3、Nemotron 3 Ultra 垫底。

原文链接 →

「编程与Agent」频道最新

• lucasmeijer 补刀:agent 想要新能力,用 code mode 写外挂程序即可 — lucasmeijer · 2026-10-12
• pi 作者回应自修改争议:都是用户发起,agent 不需要改自己 harness — lucasmeijer · 2026-10-12
• Agent 平台 2.0 推倒重来：用户只想要兼容 OpenAI API 的托管运行 — Pitiful-Surround-285 · 2026-10-12
• OpenAI 内部目标:2028 年 3 月造出全自动 AI 研究员 — imjustnewatai · 2026-10-12
• Linus Torvalds 用 LLM 拆解晦涩内核代码，额外揪出 3 个历史 bug — PointmanW · 2026-10-12
• 同一模型换个 harness 就变怂：OpenCode 安全拦截明显强于 Codex — Current_Balance6692 · 2026-10-12

更多「编程与Agent」频道 AI 资讯 →