PyTorch 创始人回应编码评测争议：承认 harness 随机化拖累成绩
soumithchintala · x · 2026-11-07
PyTorch 作者 Soumith Chintala 回应 Josh Purtell 的编码评测结果：表示团队会改进 eval harness 的随机化（harness randomization），以更好覆盖 Codex 等模型，并怀疑这正是他们在部分任务上表现不佳的原因之一。
Purtell 解释其评测方法：对每个任务运行模型提供的全部 effort 档位、每档 3 次 rollout，取模型最强档位的分数——因为部分前沿模型在 high 档优于 max 档，各模型最优档位并不一致。Chintala 承认他们的方法要泛化到前沿模型水准还有很长的路，并感谢这一信号。
所属事件:PyTorch 创始人承认评测 harness 随机化拖累模型成绩(3 条相关)→
「编程与Agent」频道最新
- Trail of Bits 实战复盘:数百 AI Agent 猎漏开源代码的三条经验 — banteg · 2026-11-07
- Theory Ventures 12月办 AI Agent 黑客松，五小时经营面包店比盈利 — HamelHusain · 2026-11-07
- Theo 谈 T3 Code 定位:多设备重度用户才值得换,单订阅用户提升有限 — IsForAt · 2026-11-07
- Google 研究:开发者期望智能体「即插即用」,却期望新人通过 code review 成长 — rseroter · 2026-11-07
- 独立开发者搭自动写稿流水线：只有真正发布才生成分享草稿 — petrusenko_max · 2026-11-07
- 该自研还是租用 LLM？先护住公司的「大脑」：记忆、决策与数据 — petrusenko_max · 2026-11-07