微软开源 Thinkingbox 智能体状态工作流基准
microsoft · hf · 2026-08-25
微软发布了 Thinkingbox，一个用于评估智能体在有状态业务工作流中表现的沙盒与基准集。现有基准往往只关注单次工具调用，而 Thinkingbox 要求智能体处理多轮信息收集、策略遵循和依赖工具协调，并确保正确的持久状态转换。
- 覆盖场景：包含零售、酒店、汽车保险、新银行内部 IT 及咨询等 507 个策略限制工作流。
- 评估机制：通过任务特定的可执行检查验证轨迹有效性，拒绝错误或副作用操作。
- 核心发现：最强模型在 pass@1 下得分 65.36%，但在 pass@20（20 次尝试）下仅 25.25%。许多失败尝试表面看是有效操作，说明单步响应信号无法可靠衡量端到端任务完成度。
项目与数据集已在 GitHub 开源。
「编程与Agent」频道最新
- Python 3.15 正式发布：懒加载 import 与更快 JIT 七大亮点解析 — _jaydeepkarale · 2026-10-15
- 「Agentic coding 让开发者 10 倍速」：代码、bug 和装懂的人都 10 倍了 — blaizedsouza · 2026-10-15
- OWASP 发布 Non-Human Identities Top 10,聚焦机器身份安全 — gleech · 2026-10-15
- 观点:用 Agent 自动化琐碎 IT 流程是金矿,但极难做 — Paimaamu · 2026-10-15
- 花叔开源 386 页 3D Vibe Coding 手册,GPT-Image 到 Tripo 到 Unity 全流程 — AlchainHust · 2026-10-15
- 让 AI Agent 少搞砸的诀窍:明确告诉它哪些文件不能动 — thisiskp_ · 2026-10-15