Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training
Kunlun Zhu, Xuyan Ye, Yibo Li, Cheng Qian, Beibin Li, Heng Ji
cs.AI, cs.CL
2026-10-01
5 万对 agent 错误诊断数据集:修正动作让重放通过率 +32.7pp,微调 Qwen3-8B 定位一致率达 63.6%。
Agent 的失败轨迹现在只有两种下场:按 outcome reward 打个负分丢进 RL,或者直接扔掉。负奖励只说明这轮没成功,不说明哪个决策错了、当时该做什么。复用失败经验得先回答两个问题:错在哪一步,换成什么动作能过。
已有的失败分析资源各管一段。MAST 做失败模式分类,Who&When 定位责任 agent,AgenTracer 拿归因数据训诊断模型,但都不附带执行过且通过验证的修正动作,也没有原动作重试对照,诊断学习和动作学习没法在同一批失败上做。AED 补的就是这个缺口。
AED 收录 50,228 对错误–诊断,来自 9,961 个源任务,横跨 33 个环境、19 个 harness 家族、23 个 policy 模型,全部是文本交互型 agent,只收自然失败、不注入人工故障。环境覆盖 BFCL、ALFWorld、τ-bench、SWE-bench Verified 等,框架覆盖 ReAct、OpenHands、AutoGen、LangGraph 等。生成管线 AET 分五步:
重放对照是整个设计里最值钱的部分。有的任务重试原动作也能过:3,062 次配对中,修正首次通过的 1,564 次里有 470 次(30.1%)原动作重试同样通过,净增益来自不一致格,修正独过 1,094 次、原动作独过 93 次。没有这个对照,「修正有用」和「这条分支碰巧能过」分不开。
| 对比 | 指标 | 结果 |
| 首次提案修正 vs 原动作重试(3,062 对) | verifier 通过率 | 51.1% vs 18.4%,+32.7pp |
| 多轮修订后选定提案 vs 对照 | verifier 通过率 | 59.1% vs 13.7%,+45.3pp |
| 诊断引导续跑 vs 一般性重新考虑 vs 纯重放 | 恢复成功率 | 31.3% vs 26.0% vs 18.6% |
诊断学习上,用 1,656 个源任务的完整诊断做 SFT,Qwen3-8B 在 943 例内部留出集上的精确步骤一致率从 47.2% 升到 63.6%(3 个 seed),高于同场测试的 Claude Opus 5(54.7%)、Gemini 3.8 Flash(53.2%)和 GPT-6 Astra(50.7%)。训练任务数从 240、480、948 加到 1,656,一致率 53.1%、57.3%、60.6%、63.6% 逐级上升。
策略侧就分化了。单 seed 对比中,修复类训练在 WebShop-lite 上比 success-only SFT 高 4.676.67 个百分点;TextQuest 上三个配方全部显著下降约 810 个百分点;真实 ALFWorld 和 ScienceWorld 上,preventive 配方输给完全没训练的策略。
对做 agent 数据和 post-training 的人,这份资源的价值在结构而不只在规模:每条记录带轨迹、诊断、执行过的修正、原动作对照和证据分级,可以按诊断、恢复、偏好三个目标分别切训练集。配对重放这条准入线,给「从失败中学习」立了一个可复制的质量标准,比只攒失败轨迹的资源扎实。
跨 harness 的失败谱系也有信息量:9 个主流框架里 8 个的失败以 action 类错误为主,π agent 却集中在 verification 和 observation(合计 61.3%)。换框架会换出错模式,选训练数据时要查错误类型覆盖。
对策略本身的提升还不能直接搬用。当数据资产跟进,比当配方跟进更合适。
证据链的硬度排序:重放验证最硬,诊断学习次之,策略训练最弱。