Scale AI 论文：41 种智能体故障模式，定位失败根源新分类法

rohanpaul_ai · x · 2026-08-15

Scale AI 发布论文《Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures》，提出以交互为中心的智能体故障分类法。论文认为，调试 AI 智能体时应首先定位首次未恢复故障发生的组件：模型、上下文、记忆、工具层、其他智能体、评分器或环境。同一可见错误可能有不同原因，例如忽略指令可能是模型看到了但未遵循，也可能是上下文压缩时丢失。论文整理了 41 种故障模式，并在 40 个实例上测试。GPT-5.5 匹配人类类别标签的准确率达 80%，Cohen's κ 为 0.76；4 个评判者一致时类别精确率升至 96%，但覆盖率降至 68%。实际应用建议：追溯故障至最先出错的组件，再决定重训模型、修复 harness 或修复环境。