Codex pass@k 闭式估计器
sirbayes · x · 2026-07-15
文中提到一个用于 **Codex pass@k** 的闭式估计器：它可以对所有 \(C(N,k)\) 个子集做**精确期望**，因此**没有子采样方差**。 作者还补充说，可以在这个估计器外层再做一层 bootstrap，用于不同题目上的汇总，从而得到一条**带置信区间的 pass@k 曲线**。
sirbayes · x · 2026-07-15
文中提到一个用于 **Codex pass@k** 的闭式估计器：它可以对所有 \(C(N,k)\) 个子集做**精确期望**，因此**没有子采样方差**。 作者还补充说，可以在这个估计器外层再做一层 bootstrap，用于不同题目上的汇总，从而得到一条**带置信区间的 pass@k 曲线**。