微软论文:Agent 长链路衰减,16 步后成功率跌至 0-33%
rohanpaul_ai · x · 2026-09-08
微软新论文系统研究 LLM Agent 在长工作流中的可靠性衰减。
- 每一步都有出错概率,随依赖步数增加误差复利式放大;9 个模型均呈现成功率随步数下滑。
- 在 ToolQA 上,短链路接近满分的模型在 16 步后成功率仅剩 0-33%。
- 衰减主因是步数而非上下文长度:缩短上下文反而让衰减更陡,盲目裁剪历史不能提升可靠性。
- 给开发者的建议:不要把 benchmark 通过率当作生产就绪证明,应在真实工作流长度下测试、度量每步可靠性,并在坏步骤污染后续结果前加检查点。
所属事件:微软论文揭示 LLM Agent 长链路成功率随步数几何式衰减(2 条相关)→
「编程与Agent」频道最新
- 「氛围验证」研究:近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- Devin 推出安全工具线,由 Claude Mythos 驱动并送数亿美元额度 — DevinAI · 2026-10-26
- HackBench 发布:向 Agent 轨迹注入作弊,压力测试监控器 — DanielKhashabi · 2026-10-26
- HF Hub CLI 大更新:缓存去重省 19GB,GPU 任务可重试重跑 — yb2698 · 2026-10-26
- 一条 Prompt 生成完整 Blender 动画,作者全程未手动建模 — iamfakhrealam · 2026-10-26
- 用户用 Claude Code 拆解本田车机:发现 root 后门与静默装 APK — IndraVahan · 2026-10-26