微软新基准：最强模型业务流程 pass@1 仅 65%， agent可靠性堪忧
dair_ai · x · 2026-08-23
微软发布 Thinkingbox，一个评估 agent 在真实业务工作流中可靠性的沙盒与基准：
- 沙盒提供隔离的 MCP 兼容工具会话；
- 基准包含 507 条带策略约束的工作流，覆盖零售、酒店、汽车保险、数字银行 IT、咨询支持等领域；
- 评分不看来话或工具调用本身，而是检查 agent 在后端系统里实际留下的状态：可执行检查会接受合法轨迹，拒绝错误、缺失或多余的副作用——附带伤害直接扣分。
结果：最强模型 pass@1 仅 65.36%，pass^20 为 25.25%。更值得警惕的是，许多失败案例以干净的方式终止、还发出了合法的状态变更调用——只看回复文本或工具调用，几乎判断不出任务是否真正完成。
所属事件:微软研究：Agent 成功率高但可靠性严重不足(2 条相关)→
「编程与Agent」频道最新
- Vercel 后端升级:Python 正式 GA,新增容器与 Daemons — cramforce · 2026-10-16
- Datadog 发布 Scout 1.0:专攻生产事故调查的垂直模型 — tianyin_xu · 2026-10-16
- WorldMemArena 中选 NeurIPS:存储式 Agent 记忆评估遭颠覆 — xwang_lk · 2026-10-16
- TRL 零时差支持 Muse Spark Open：64 张 H100 上 LoRA 微调 816B MoE — QGallouedec · 2026-10-16
- 工程师入职首日全靠 AI 提问，第二天就能提交有影响力的 PR — Yuchenj_UW · 2026-10-16
- Perplexity 开源支撑其 Computer 产品的智能体沙箱平台 SPACE — AravSrinivas · 2026-10-16