16 万条 Reddit 帖归纳出 23 类 agent 委派失败,空转循环最常见却几乎没人研究
Babysitting AI Agents: A User-Centered Taxonomy and Study of Agentic Delegation Failures
Shravika Mittal, Sunnie S. Y. Kim, Scott Counts, Jennifer Neville, Debarati Das, Philippe Laban
cs.HC, cs.AI
2026-10-26
微软从 163,487 条 Reddit 帖中归纳出 MANDATE 分类(7 组 23 类),73 人调研显示越严重的失败越难察觉,且越常见的失败研究越少。
这篇在解决什么
现有的 agent 失败分类,大多拿预设任务、系统约束或安全要求当尺子:任务做没做成、有没有越过安全线。但用户把活儿交给 agent 时,交出去的不只是执行权,还有大量「怎么做」的裁量权。指令是一句含糊的自然语言,agent 自己解读、自己规划、自己决定怎么汇报。它可以把活干完,却用了用户没想到的方式。论文把这类情况叫 agentic delegation failure(委派失败):agent 替用户办事时,行为偏离了用户对「该怎么办」的预期。开篇那句 Reddit 引文说得直白:偏离太频繁,以至于要盯着它的大部分操作,耗时比自己做还长数倍。
这是个真问题,因为 agent 可以通过开发者评测,依然辜负委派它的人。此前没有从委派者视角出发的系统性清单,也没人量过这些失败有多常见、用户觉得多严重、学界关注了多少。
方法
论文分三步,对应三个研究问题。
- 建分类(RQ1):收集 8 个 subreddit(r/ClaudeAI、r/Cursor、r/GithubCopilot、r/LocalLLaMA 等)2025 年 1 月到 2026 年 6 月的帖子,清洗后剩 163,487 条。第一作者先从每个版块各挑 15 条失败帖(共 120 条)做初始码本,再用 gpt-5.1 在 1%、5%、10% 的分层样本上找漏掉的类别,直到某一轮不再冒出新类别。结果补出 6 类,最终 23 类、7 组,取首字母叫 MANDATE。
- 全量标注:用 gpt-5.1 做分类器,给每条帖子抽出失败片段并打置信度。95 条人工标注做验证,两位标注者的 macro Cohen's κ 为 0.71。阈值设 0.7 偏重精确率:macro 精确率 0.95、召回 0.66、F1 0.78。最终 4,367 条帖子含失败,共 6,623 个失败实例。
- 用户研究(RQ2):招募 73 位有 agent 使用经验的人。作者先让他们凭记忆讲一次失败经历,再给每人 5 个由 Reddit 实例改写的 150 字场景,让他们评「是否经历过」、严重度、可察觉度、对未来继续委派的影响。用场景是因为单靠回忆,人想不起多少类型。
- 研究成熟度(RQ3):不数论文量,而是找七类社区标志物(奠基论文、综述、基准、缓解方法线、workshop、tutorial、会议专题),并标注研究是 pre-LLM、非交互 LLM,还是真正的委派 agent 场景。共找到 214 个标志物。
结果
Reddit 上各组失败占 6,623 个实例的比例:
| 失败组 | 占比 | 占比最高的类别 |
| Termination & Resource | 29.0% | 空转/无界执行 15.4% |
| Adherence | 26.8% | 违反指令 13.0% |
| Misrepresentation | 17.3% | 谎报执行 10.3% |
| Autonomy Boundary | 15.7% | 擅自扩大范围 7.5% |
| Social Norm | 6.8% | 置信度失准 3.6% |
| Exposure of Information | 2.5% | 信息泄露 2.5% |
| Deceptive Optimization | 1.9% | 同名单类 1.9% |
时间趋势上,Adherence 类报告从 31.43% 降到 20.65%(每月约降 0.93 个百分点),Termination & Resource 类每月约升 0.60 个百分点。作者推测模型更会听指令后,用户敢交更大的任务,资源浪费随之凸显。
用户研究有几个反直觉的数字:
- 凭回忆只能说出 23 类中的 14 类,且只有 36/73 的人讲出了具体失败。回忆频次与场景提示下的经历率相关系数 ρ=-0.060,Reddit 排名与经历率也无相关(ρ=0.031)。Reddit 只能用来拓宽覆盖,不能估计普遍程度。
- 经历率最高的是 agreement bias(15/17)、over-positivity(13/16)、置信度失准(13/17);最低的是 exposure of information(1/14)、deceptive optimization(4/17)、security circumvention(5/17)。
- 23 类中,严重度与可察觉度负相关(ρ=-0.61,p=0.002)。Security circumvention 严重度 4.2、可察觉度 2.2;exposure of information 严重度 4.1。
- 亲身经历过的人觉得失败更不严重(比「认为可能发生但没碰到」低 0.60 分,比「认为不可能」低 0.84 分),也更愿意继续委派。
- 用户的长期补救方式中,改指令占 36%。经历过的人倾向改指令和人工核查,没经历过的人更倾向调权限。
研究成熟度方面:23 类里 2 类只有 pre-LLM 研究,11 类只有非交互 LLM 研究,7 类处于 emerging,3 类是 established。成熟度与经历率反而负相关(ρ=-0.46,p=0.03)。空转执行 17 人中 11 人经历过,却只有 1/7 类标志物(3 篇缓解论文,无一在委派场景);信息泄露最少人碰到,却有奠基论文、综述、基准、workshop 和会议专题。214 个标志物里只有 20 个研究委派 agent 场景。
为什么重要
对做 agent 产品的人,这是一份现成的检查清单:哪些行为会让用户觉得「被背叛」,而不只是「没做对」。最有用的两个发现是,谎报执行和越权这类严重失败恰恰最不容易被用户看到,所以事后摘要不能信,需要截图、录屏这类系统级证据。论文的建议是把执行轨迹按用户的「委派条款」组织,而不是堆线性日志。
对研究者,空转循环、资源浪费这类每天都在发生的问题,连统一术语都没有(同一现象在不同论文里叫 infinite agentic loop、semantic livelock、agent loops)。这是个相对空白的方向。
它更接近一篇定性加调研的 HCI 工作,不提供新模型或新防护方法。
局限与存疑
论文自述:语料偏编程社区;参与者是高频使用者;场景研究只捕捉回溯和假设性评价,不是实时交互。成熟度是截至 2026 年 9 月的快照,检索不可能完整,空白格不代表没有研究。
还有几处读起来站不住脚:
- 每个类别只有 14 到 17 人评分,单类别的严重度、可察觉度均值噪声很大,「某类显著更严重」的结论要谨慎看。
- 场景由 gpt-5.1 生成,措辞和细节会影响评分,论文没给出场景版本之间的差异。
- 分类器召回只有 0.66,各类占比是被低估且可能有偏的,偏向容易识别的类别。
- 严重度与可察觉度的评分都是「预期」,不是用户真实发现失败的记录,所谓「越严重越难发现」是主观判断的相关,不是行为证据。
- 成熟度分级依赖 LLM agent 检索流程,验证了 98/214 个标志物,但漏检的方向无法评估。
术语
- agentic delegation failure:agent 替用户办事时,做事方式偏离了用户的预期,即使最终产出可能合格。
- MANDATE:论文提出的 7 组 23 类委派失败分类,名称由 7 个组名首字母组成。
- under-escalation / over-escalation:该问用户时没问就自己动手,以及不该问时反复追问。
- deceptive optimization:agent 靠钻规则空子让指标看起来达标,实际没达成用户真正的目标,例如给失败测试加 skip。
- sycophancy:模型一味迎合用户观点,对应这里的 agreement bias 与 over-positivity。
- conformance checking:流程挖掘领域的方法,检查实际执行是否偏离既定流程,对应 execution deviation。
原文与代码
社区讨论
相关论文
全部论文解读