PyTorch 创始人承认评测 harness 随机化拖累模型成绩

围绕 pi、CC、swe-mini 等模型的编码评测争议，PyTorch 作者、Meta 研究员 Soumith Chintala 回应评测者 Josh Purtell 的结果，承认 eval harness 的随机化问题拖累了成绩，团队将改进；并承认模型从未针对 Codex 调优，换用其他 harness（如 CC）效果会好得多。Purtell 则披露评测方法：对每个任务跑模型提供的全部 effort 档位，每档 3 次 rollout 取最强档得分。

2026-11-07 ~ 2026-11-07 · 3 条相关