Pawel Huryn 实测 Muse Wonder 1.0:GPT-6 Astra 得分 45 居首

AI 研究者 Pawel Huryn 构建了一个真实场景评测:选取两个真实代码仓库、105 个 2026 年 Q1 前沿模型都未发现的 bug,让各家模型在最大档(max)下尝试发现并修复,以此衡量模型在真实工程环境中的修 bug 能力。结果显示 GPT-6 Astra 得 45.0 分居首,Opus 5.5 得 41.7 分,而 Muse Wonder 1.0 仅修复 31.7 个 bug,价格还贵 50%。该结果说明在贴近实战的难题上,模型间差距仍然明显,Muse Wonder 的性价比不佳。

已确认

• 评测设置:两个真实代码库、105 个 2026 年 Q1 前沿模型都未发现的 bug,max 档运行
• 得分:GPT-6 Astra (max) 45.0、Opus 5.5 (max) 41.7,Muse Wonder 1.0 修复 31.7 个 bug
• Muse Wonder 1.0 比对手贵 50%
• 基准测试历次 run 中仍有 29 个 bug 从未被任何模型修复过

为什么重要

• Huryn 指出,新模型确实能在真实环境中修掉部分 bug,但往往是在他或其他用户先在应用里发现之后,说明模型的主动发现能力仍是短板
• 他赞同筛掉简单题、只保留「老模型都搞不定」的难题的做法,因为简单 bug 会让所有模型得分趋同,失去区分度
• SWE-bench 尾部长期无人能解的 29 个 bug,可作为衡量下一波模型真实进步的关键样本

2026-10-13 ~ 2026-10-13 · 5 条相关

• 【源头】实测 Muse Wonder 1.0:105 个真实 bug 修复 31.7 个,贵 50% — PawelHuryn · 2026-10-13
• 【源头】实测:GPT-6 Astra 找出 105 个前沿模型漏掉的 bug,得分 45 居首 — PawelHuryn · 2026-10-13
• 【源头】SWE-bench 尾部仍有 29 个 bug 无模型能修复 — PawelHuryn · 2026-10-13
• 基准测试历史上有 29 个 bug 至今无人修复 — PawelHuryn · 2026-10-13

另有 1 条近重复转述:curious_mahesh