微软开源 Thinkingbox 智能体状态工作流基准
microsoft · hf · 2026-08-25
微软发布了 Thinkingbox，一个用于评估智能体在有状态业务工作流中表现的沙盒与基准集。现有基准往往只关注单次工具调用，而 Thinkingbox 要求智能体处理多轮信息收集、策略遵循和依赖工具协调，并确保正确的持久状态转换。
- 覆盖场景：包含零售、酒店、汽车保险、新银行内部 IT 及咨询等 507 个策略限制工作流。
- 评估机制：通过任务特定的可执行检查验证轨迹有效性，拒绝错误或副作用操作。
- 核心发现：最强模型在 pass@1 下得分 65.36%，但在 pass@20（20 次尝试）下仅 25.25%。许多失败尝试表面看是有效操作，说明单步响应信号无法可靠衡量端到端任务完成度。
项目与数据集已在 GitHub 开源。
「编程与Agent」频道最新
- 某工具将支持携带自建 Agent 并托管 — tekbog · 2026-08-25
- Agent 平台支持全电脑控制与自建 Agent — basedjensen · 2026-08-25
- LangChain Agent 生产环境可观测性方案讨论 — Human-Agent6509 · 2026-08-25
- RAW Sequencer:桌面端AI视频多版本并排对比工具 — AniketBhatkar · 2026-08-25
- 多智能体落地：一体化工作台还是现有工具薄协调层？ — GlitteringAngle8601 · 2026-08-25
- 逆向工程案例：如何从优秀范例中提取可复用 AI 技能 — skillfusion_ai · 2026-08-25