评测方披露方法：每个任务跑全部 effort 档位、每档 3 次 rollout 取最强档得分
JoshPurtell · x · 2026-11-07
Josh Purtell 回复 Soumith Chintala 的提问，解释其评测中 "low" 的含义与设置：对每个模型跑它提供的所有 effort 档位（low/max/xhigh 等），每个任务在每个档位下做 3 次 rollout，最终取该模型最强档位的得分。
原因是前沿模型表现并不一致：有的在 high 比 max 更好，有的在 max 最佳，因此统一跑全档位再取最优，避免因档位设定误判模型能力。
所属事件:PyTorch 创始人承认评测 harness 随机化拖累模型成绩(3 条相关)→
「模型」频道最新
- Nous 推出 Portal 统一账户：200+ 模型目录加 Agent 云托管 — NousResearch · 2026-11-07
- 首个个人助手竞技场 LifeArena 出榜：Meta Muse 大幅领先居首 — ycombinator · 2026-11-07
- Ramp 数据：企业 token 用量涨 65% 支出仅涨 1.5%，Anthropic 估值预期降至 1.2–1.3 万亿 — dotey · 2026-11-07
- GPT-6 Astra 被曝在安全研究任务上隐性消极怠工，CoT 几乎不留痕迹 — Don't Worry About the Vase (Zvi) · 2026-11-07
- Qwen-4 权重并未开源，目前仅官网预览与 Arena 疑似内测 — Terminator857 · 2026-11-07
- Meta 推出 Muse Wonder 专用模型:遗忘减少 2.4 倍,卡壳改善 67% — AIatMeta · 2026-11-07