pass@k 可被合成数据刷分,研究者激辩 post-training benchmark 可信度

eliebakouch · x · 2026-10-24

eliebakouch 与 @bneyshabur(Mila 相关研究者)就 benchmark 可信度展开讨论：bneyshabur 承认 coding benchmark 上的 pass@k 可被合成数据刷分，post-training benchmark 也可能被过优化，「在真正用上模型之前，一切都只是额外数据点」，公司刚开始 post-training，将很快公布早期结果；eliebakouch 则建议多次人工评测相关性强、不应算作独立数据点，并肯定对方已在其他仓库公布 bpb 的透明做法。

配图为 5 个模型在 9 个代码库上 bpb 的 Pearson 相关系数矩阵：Kimi-K3、Mirendil-Base、Nemotron-550B、GLM-5.3、DSV4-Pro 两两相关系数普遍在 0.89–0.99，均值 0.96–0.99，说明各模型对代码库的排序高度一致。