让 Agent 学会预知失败：结局导向置信校准 AUROC 达 0.85
SAP · hf · 2026-10-14
SAP 研究者提出用「结局导向」的置信度校准方法，让 LLM agent 每一步预测整个多步任务最终能否成功，而不是只校准当前单步决策的对错。
方法
- 在 GRPO 框架下，用同一任务的一组 rollout 的成败作为标签，以 proper scoring rule 对每一步的口头置信度对照最终结局打分。
- 离线 RL 在 Qwen2.5-7B agent 于 ALFWorld、TextWorld、WebShop 的轨迹上训练；在线 RL 直接训练实时 ALFWorld agent。
结果
- 离线：逐步置信度对 episode 结局的 AUROC 从接近随机升至 0.68-0.85；置信度 top-10% 的步骤成功率约为平均的 4.3 倍。
- 在线：四个校准奖励改善早期步骤 AUROC，期望校准误差（ECE）从 0.42 降到 0.12 以下；选择性执行优于未训练基线与仅格式 RL 对照，且不损失任务成功率。
- 新评测协议分离任务深度、难度与尝试级前瞻：训练后的 agent 第一步就能识别自己会失败的任务，但区分同一任务的成功/失败尝试仍较难（TextWorld 上有早期信号）。
对需要决定「继续执行、验证还是转人工」的 agent 运行时控制有直接实用价值。
「编程与Agent」频道最新
- 开发者观察：用 AI Agent 竟成了管理训练课 — dr_alphalyrae · 2026-10-14
- 重跑全部 ipython 版本实验，验证 harness 改进对小模型的收益 — yb2698 · 2026-10-14
- 小模型 agent harness 易受环境噪声影响，作者开源 ipython 实验 harness — yb2698 · 2026-10-14
- 核心结论:对小模型 agent,一个 ipython 工具就够,少脚手架反而更好 — yb2698 · 2026-10-14
- 20次重复实验：OpenHands 在各采样设置下最稳定 — yb2698 · 2026-10-14
- Qwen-Code 读文件频率翻倍，根源在其系统提示词 — yb2698 · 2026-10-14