pass@k 可被合成数据刷分，编码基准可信度遭质疑

围绕代码模型评测的可信度，Hugging Face 研究员 eliebakouch 指出仅比较 perplexity 意义有限，纯代码训练的模型 PPL 更低并不意外，应关注 pass@k 等编程基准；而在 Kimi-K3 于多代码库评测登顶引发的讨论中，初创高管 bneyshabur 坦承 pass@k 成绩可通过合成数据刷分，post-training 基准也普遍存在过度优化问题，双方就基准可信度展开激辩。

2026-10-24 ~ 2026-10-24 · 4 条相关

• 研究者质疑困惑度评测：代码模型该看 pass@k 而非 PPL — eliebakouch · 2026-10-24
• 社区质疑代码 perplexity 评测含金量:Kimi-K3 多代码库登顶 — eliebakouch · 2026-10-24
• 初创高管承认：编码基准 pass@k 可被合成数据刷分 — bneyshabur · 2026-10-24
• pass@k 可被合成数据刷分,研究者激辩 post-training benchmark 可信度 — eliebakouch · 2026-10-24