pass@k 会骗人:80% 成功率的 Agent 连过 8 次仅 16.78%
cwolferesearch · x · 2026-11-20
Cameron Wolfe 讲解 Agent 评测中能力(capability)与可靠性(reliability)的区别,重点是 τ-bench 提出的 pass^k 指标。
- pass@k:k 次尝试中至少一次成功的概率,奖励偶发成功
- pass^k:k 次独立尝试全部成功的概率,奖励一致性
- 同一个 80% 成功率的 agent:Pass@4 = 99.84%,看起来近乎完美;Pass^4 = 40.96%,Pass^8 = 16.78%,显得很不可靠
为什么 agent 可靠性更难:评测涉及长序列工具调用、推理与环境交互,每一步都引入失败机会,轻微扰动就可能导致不同结果。
何时用哪个:编码 agent 多试几次能出对解即可,pass@k 合适;自主修改生产系统的 agent 一次失败就是事故,应看 pass^k。配图附 pass@k 与 pass^k 的公式和计算代码。
「编程与Agent」频道最新
- 实践者吐槽:Lean 编译通过的自然语言证明,读起来仍是错的 — jasondeanlee · 2026-11-21
- DeepMind 展示 Gemini 4 Neon 按勃朗峰真实地形写滑雪模拟器 — GoogleDeepMind · 2026-11-21
- pstack v0.15.46 更新:skills 精简、Gemini 加入评审面板 — petrusenko_max · 2026-11-21
- Hamel Husain 力挺 evals 心法:好流程远胜好工具 — HamelHusain · 2026-11-21
- Databricks Genie One 通过 MCP 把受管数据接入 ChatGPT 与 Claude — Wise_Ear_4064 · 2026-11-21
- 开源项目 acmdthat:进程内本地 AI 生成 CLI 命令 — ex-ex-pat · 2026-11-21