初创高管承认：编码基准 pass@k 可被合成数据刷分
bneyshabur · x · 2026-10-24
回复对某新模型评测方式的质疑时，一位初创模型公司高管（bneyshabur）坦承：编码基准上的 pass@k 成绩可以通过合成数据被“刷”出来，就连后训练基准也普遍存在过度优化的问题。
她的核心表态：
- 在真正使用模型之前，一切评测都只是“额外的一个数据点”，不能下结论；
- 只用代码训练的模型确实能在困惑度上超过更大、训练更久、数据更全的模型，但在贴近真实场景的编码基准上表现如何则更不确定；
- 公司刚起步，刚开始后训练，很快会公布早期结果；并预期自家模型发布后会有大量缺陷待修。
这是对“ benchmark 通胀”现象的罕见坦率回应。
所属事件:pass@k 可被合成数据刷分，编码基准可信度遭质疑(4 条相关)→
「模型」频道最新
- OpenAI 研究员：内部很多人不知 Claude 有多强 — willdepue · 2026-10-24
- Codex vs Claude 实测：能力强但输出术语难读 — willdepue · 2026-10-24
- Kimi K3.1 被称平替版 Opus 5.5，同任务成本仅 0.75 美元 — SumitGup · 2026-10-24
- 中国模型发布潮将至：GLM-5.5、Qwen 4 接棒 MiniMax 与 Kimi — haider1 · 2026-10-24
- Kimi K3.1 Pro 3D 重建评测大涨 27.6 分，跻身 BuildingBench 前六 — Lianhuiq · 2026-10-24
- Kimi 订阅额度被评最差，却成中国非程序员最佳日常模型 — Linahuaa · 2026-10-24