微软论文：Agent 91% 成功但仅 25% 可靠，推 ThinkingBox 评测
rohanpaul_ai · x · 2026-08-23
微软发布的论文指出，Agent 的单次成功与长期可靠性并非同一概念。数据显示，表现最好的 Agent 在业务任务中至少能解决 91% 的问题，但每次都能成功的比例仅为 25%。
核心发现：
- 难以察觉的失败：80% 的失败运行在表面上看起来很“礼貌”，并调用了写入数据库的工具，Agent 声称任务完成，但数据库记录显示并非如此。
- 解决方案：微软提出了 ThinkingBox，这是一个沙盒环境。它让 Agent 对抗真实工具、模拟客户和实时后端，并在运行后检查数据库状态，而不是仅依赖 Agent 的文本回复来判断任务是否成功。
论文链接：arxiv.org/abs/2608.19741
所属事件:微软研究：Agent 成功率高但可靠性严重不足(2 条相关)→
「编程与Agent」频道最新
- 开发者 vibe coding 出开源 Newsletter 平台,价格仅 Beehiiv 的 17% — marclou · 2026-10-15
- ERP AI 推出 Proto：让 AI agent 替你操作商业软件的'无头 SaaS' — Aiden_Tech_Ai · 2026-10-15
- 工程师主管必读清单:别让 Agent 摘要取代深度阅读 — rseroter · 2026-10-15
- ElevenLabs MCP + Claude Motion:一句提示词给视频加动效,跳过 AE — CurieuxExplorer · 2026-10-15
- 打包 1.5 万美元系统：用 Claude 挖「谷歌有排名但 ChatGPT 不推荐」的 SEO 客户 — aryanXmahajan · 2026-10-15
- Google 论文 Harness²:无验证器下递归进化 agent harness,最高提升 11.5 分 — dair_ai · 2026-10-15