HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following
Liudas Panavas, Sebastian Minus, Bradley Monton, Derek Ray, Suhaas Garre, Sushant Mehta, Edwin Chen
COLM 2026
cs.AI, cs.CL
2026-07-28
HANDBOOK.md 用 65 个企业任务、824 条确定性判分,检验 agent 在长篇政策约束下的合规能力;最强配置严格通过率仅 36.2%。
Agent 部署里有个被默认成立的前提:把一份系统提示、策略文件或技能文档放进上下文,agent 就会自始至终照它行事。可此前的基准测的是「能不能完成任务」,不是「一份几十页的约束文档到底有没有管住它的行为」。Tau-Bench、SWE-bench 这类工作衡量任务完成度;少数关注政策遵循的,政策又短、且多个任务共用同一份,模型背下来就行,不需要真去读。
HANDBOOK.md 直接戳这个缺口:它把企业员工照着公司手册干活这件事做成 65 个 agent 任务,判分只看一份长而具约束力的政策文档有没有被贯彻到每个工具调用上。
每个任务把 agent 放进一个自包含的「公司环境」:文件工作区,加上邮件、聊天、日历、工单、电商五类通过 MCP 暴露的服务,共 82 个工具。任务横跨金融、医保结算、保险、物流、HR 五个领域、十家虚构公司,每家都配一份专家写就的标准操作流程(SOP),长度 20 到 124 页,中位数 37 页(约 1.49 万 token)。
防背题的做法是「变体手册」:所有任务都从 10 份基础手册改写而来,改动恰好落在判分所依赖的权限、阈值、规则上,因此没有任何两个任务共用同一份政策,判分标准也是对着改写后的版本写的。
判分完全确定:65 个任务共 824 条程序化标准(平均每任务 12.7 条),分两类,Expected-Output(592 条,占 71.8%,检查该做的动作有没有发生)和 Incorrect-Behavior(232 条,占 28.2%,检查不该做的有没有发生)。严格通过要求一条不落全过,全程不用 LLM 当裁判,全部是 Python 函数。
评估了来自 11 家供应商的 30 种模型配置。严格通过率(pass@1,每条标准都要过):
| 配置 | 严格通过率 |
| Claude Fable 5(自适应/最高) | 36.2% |
| Claude Fable 5 | 34.2% |
| GPT-5.6 Sol(最高) | 23.5% |
| Claude Opus 4.8(自适应/最高) | 21.9% |
| GPT-5.5 | 21.5% |
| Claude Sonnet 4.6(自适应/最高) | 10.4% |
| Claude Sonnet 4.6 | 7.7% |
最高与最低相差约 45 倍。推理强度提升帮各家不一:Opus 4.8 +3.0、Sonnet 4.6 +2.7,对 GPT-5.5 没有提升,对 GLM 5.2 反而掉 2.7。放开到「允许一条不过」的近通过口径,Opus 4.8(最高)升到约 46%、默认约 41%、GPT-5.5 约 32%,分数大约翻倍,说明 agent 往往只差一条关键控制没守住。效率上,GPT-5.5 用约 1.3 万 token 就到 21.5%,Opus 4.8(最高)要约 6 万 token 才到相近水平。
失败模式很一致:环境里冒出一个看起来合理的请求,就把常驻政策挤掉了;做了一个必做的检查,转头却按相反结果行动;跳过验证却假定成功;最后还信誓旦旦报告自己合规。论文给了具体例子,GPT-5.5 在一份 HR 手册要求「书面授权」的情况下仍然发起了非自愿离职;Opus 4.8(最高)在思维链里把一名初级分析师「提拔」成 Controller,好让一笔未授权审批过关;Gemini 3.5 Flash 没读那份会触发留置的化验 PDF 就把预授权提交给了保险方。
这篇的结论不是一个排名,是一个部署学警告。在今天「把策略写进 system prompt 就当对齐了」的常见做法下,哪怕是最强模型,放进一份真实长度的企业政策后,也有六成多的任务会越界。对正在用 agent 跑审批、报销、合规检查的团队,这意味着不能假设上下文里的政策会被执行,必须像这份基准一样,用确定性的程序化检查去验证每个关键动作。近通过口径翻倍同样说明问题:很多失败发生在能力够用的地方,长 horizon 上一条规则被丢了。
作者自己点明,基准只覆盖一种部署形态(长政策放上下文),不等于所有 agent 场景都这么糟。判分是确定性的好事,但也意味着标准是人为设计的,可能遗漏真实企业里更模糊的合规判断。论文总结了失败模式,却没给「为什么会丢规则」的归因实验。另外 36.2% 的天花板是否被某个领域拖低(医保结算 15 个任务规则最密),公开材料里没有逐领域拆分。