实测 105 个真实 bug:Muse Spark 1.3 并列登顶,Meta 逼近前沿
PawelHuryn · x · 2026-09-13
博主 PawelHuryn 用两个真实仓库、预埋 105 个 bug 的私有基准实测了新模型 Muse Spark 1.3(max 档)。
- 结果：Muse Spark 1.3(max)与 Fable 5.1(high)并列 33 分居首，Grok 4.6(xhigh)与 Opus 5(max)均 27，Muse Spark 1.3(high)仅 19。作者判断「Meta 加入了前沿行列」。
- 基准方法论说明：这些是 2026 年初前沿模型真实挣扎过的硬 bug，不能读作「最强模型只解了 48/105」；用异家族模型做盲评 judge 且校准过；未预埋的 bug 不计分；答案库私密，公开的是匿名日志与覆盖率。
- 有趣发现：OpenAI 系模型「bugmax」倾向——报告大量真实但不相干的问题，修它们反而常把方案搞复杂。
- 其他 effort 档位结果陆续在原线程更新；被最多人要求的 Muse Spark 1.3 已补测。
所属事件:Bug Hunt Bench 实测：Muse Spark 1.3 追平 Fable 5.1 登顶(6 条相关)→
「编程与Agent」频道最新
- 用 AI 形式化验证系统 Aristotle 证明 OpenTitan 根信任 C 代码内存安全 — satnam6502 · 2026-10-31
- MIT CSAIL 提出「机器学习与温习」范式:Agent 提前研究语料而非临时检索 — eshorten300 · 2026-10-31
- OpenAI 研究员展示「全监控」系统:链式思维监视器盯住每一条前沿模型 rollout — willdepue · 2026-10-31
- Agent 审计新思路：不看总结，让用户说出改了哪些文件跑过哪些测试 — ronbodkin · 2026-10-31
- 开发者：coding agent 通知只在等待审批时才值得推送 — petrusenko_max · 2026-10-31
- OpenTargets 非官方 MCP 服务器上线，可查询基因-药物-疾病关联 — modelcontextprotocol · 2026-10-31