博主纠错 SWE-bench 数据：新模型在极难题目尾部反而更差
teortaxesTex · x · 2026-10-31
teortaxesTex 对此前关于模型（0910 与 1017 版本）pass@1 提升的评测数据做技术性更正：
- pass@1 从 9.83% 提到 7.11% 的变化只发生在成功率低于 50% 的任务上，而非此前说的低于 10%；
- p<10% 区间为 2.37%→3.16%，p<0.1% 区间为 0.071%→0.47%；
- 更关键的更正：方向搞反了。基于各自 beta 分布估计，0910 版本在 1507 题中「几乎解不出」（p<0.001）1 题，而 1017 版本是 7 题——即新模型在极端难题尾部表现更差。
作者解释这可能是熵损失（以及可能的蒸馏）所致，并推断 0910 的 pass@n 会更高，交叉点大约在 pass@5 附近，且这一推断可被验证。
「模型」频道最新
- ARC Prize 2026 截止倒计时3天,Yi-Chia Chen 以 75.56% 登顶 ARC-AGI-3 — GregKamradt · 2026-10-31
- Claude 画鹈鹕骑自行车惊艳众人:Fable 5.5 Max SVG 能力演示 — ChrisGPT · 2026-10-31
- 曝 OpenAI 将用用户 Daybreak 会话训练且无法退出 — dyn___ · 2026-10-31
- NVIDIA Nemotron 3.5 用 LLM 自验证:agentic 基准提升 9-10 个点 — sarahcat21 · 2026-10-31
- 开源模型 Mistral Large 4 刷 1273 道医学题:94% 正确率 — MaziyarPanahi · 2026-10-31
- 研究者在模型权重空间找到 5 种人格结构,可类比人类大五人格 — luke_drago_ · 2026-10-31