pass@k 会骗人:80% 成功率的 Agent 连过 8 次仅 16.78%

cwolferesearch · x · 2026-11-20

Cameron Wolfe 讲解 Agent 评测中能力(capability)与可靠性(reliability)的区别,重点是 τ-bench 提出的 pass^k 指标。

为什么 agent 可靠性更难:评测涉及长序列工具调用、推理与环境交互,每一步都引入失败机会,轻微扰动就可能导致不同结果。

何时用哪个:编码 agent 多试几次能出对解即可,pass@k 合适;自主修改生产系统的 agent 一次失败就是事故,应看 pass^k。配图附 pass@k 与 pass^k 的公式和计算代码。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →