论文将 41 种 Agent 失败归因到模型与脚手架交互边
omarsar0 · x · 2026-08-04
一套把 41 种 agent 失败归因到“交互边”的分类法
这篇论文的核心观点是：agent 出错时，不能简单归成“模型坏了”或“框架坏了”。更合理的做法，是把失败定位到它发生的交互边上——例如模型与 harness、用户、工具、记忆、环境之间的哪一段交互出了问题，并同时标明应该由哪一侧来修复。
这套分类法解决什么问题
- 将 41 种 failure mode 按交互边组织起来，而不是只按组件粗分。
- 让诊断更可执行：
- model-side 问题对应后训练或模型修复；
- harness-side 问题对应脚手架、工具集成和编排修复；
- environment/grader 问题则说明评测条件本身需要重做。
- 适用于编码助手、长周期个人助理和多智能体系统。
论文证据
- 作者用公开 benchmark、模型 system card、已发表报告和真实轨迹来构建分类。
- 还检验了这套 schema 是否能自动化标注。
- 在四个前沿模型上，最强的 judge 与人工标签达到 Cohen’s κ = 0.76，说明这套分类法不只是事后复盘工具，也可能用于持续的生产环境追踪。
「编程与Agent」频道最新
- 智能体上下文优化成生产必修课 — blaizedsouza · 2026-08-04
- Kimi K3 在一场奇怪的 canvas 代码评测中跑到 116 tok/s — MaziyarPanahi · 2026-08-04
- openwiki 新增 .openwikiignore，帮 agent 省 token — BraceSproul · 2026-08-04
- 用 Lovable 五分钟搭建完整 AI 品牌资产工作室 — PrajwalTomar_ · 2026-08-04
- GitHub Stacked PRs 教程把大 PR 拆成可审查分层 — DanWahlin · 2026-08-04
- evedev 被推荐为内部智能体默认框架 — cramforce · 2026-08-04