105 个真实仓库埋虫实测:Meta Muse Spark 1.3 追平 Fable 5.1
PawelHuryn · x · 2026-09-14
Pawel Huryn 用自建评测框架在两个真实代码仓库中植入 105 个 bug,测试各模型的「查找并修复」能力。
结果令人意外:
- Muse Spark 1.3 (max):33
- Fable 5.1 (high):33
- Grok 4.6 (xhigh):27
- Opus 5 (max):27
- Muse Spark 1.3 (high):19
结论是 Meta 正式跻身模型前沿阵营。Scale AI CEO Alexandr Wang 也转发称 muse code + muse spark 1.3 max 在真实软件工程任务上表现出色。作者表示后续将在此推文串中每隔约 1.5 小时补充其他档位的测试结果。
所属事件:Bug Hunt Bench 实测：Muse Spark 1.3 追平 Fable 5.1 登顶(6 条相关)→
「编程与Agent」频道最新
- 用 AI 形式化验证系统 Aristotle 证明 OpenTitan 根信任 C 代码内存安全 — satnam6502 · 2026-10-31
- MIT CSAIL 提出「机器学习与温习」范式:Agent 提前研究语料而非临时检索 — eshorten300 · 2026-10-31
- OpenAI 研究员展示「全监控」系统:链式思维监视器盯住每一条前沿模型 rollout — willdepue · 2026-10-31
- Agent 审计新思路：不看总结，让用户说出改了哪些文件跑过哪些测试 — ronbodkin · 2026-10-31
- 开发者：coding agent 通知只在等待审批时才值得推送 — petrusenko_max · 2026-10-31
- OpenTargets 非官方 MCP 服务器上线，可查询基因-药物-疾病关联 — modelcontextprotocol · 2026-10-31