60 个真实 PR 实测 Muse Spark Open:bug 修复命中 48%,干净 PR 通过 72%
Arindam_1729 · x · 2026-10-20
作者给 Meta 新发布的开源权重编码模型 Muse Spark Open(816B 总参数、42B 激活、1M token 上下文,Meta 称其为最强美国开源权重模型)布置了 60 个真实 PR 任务,而非常见的单条玩具 prompt 评测。
实测覆盖 django、svelte、tldraw、ant-design、prettier、recharts、tiptap、vue core、mantine 共 9 个仓库:
- 25 个 bug 修复 PR 中命中 12 个(48%),另有 3 个部分命中;django 11 个 bug PR 命中 6 个(55%)表现最好,svelte、recharts、tiptap 则全部失手。
- 25 个干净 PR 中 18 个获通过(72%),tldraw 与 ant-design 达到 100%。
文章详细分析了模型在真实代码库上的强项与短板。
「编程与Agent」频道最新
- 写 Skill 易测 Skill 难:用 evals 两个数字验证指令文件是否真有效 — blaizedsouza · 2026-10-20
- Minos 开源:为零延迟科学实验构建「预测量」agent 世界 — rbhar90 · 2026-10-20
- Anthropic 工程师公开 Opus 5.5 全代码电影的完整 prompt 与执导心得 — EricBuess · 2026-10-20
- uv 作者揭秘:Python 环境标记用决策图表示,最小等价 DNF 是难解问题 — charliermarsh · 2026-10-20
- uv 痛点:复杂解析产生巨大中间 DNF,子句对比代价高昂 — charliermarsh · 2026-10-20
- 开源 Yeufonic:给音乐人做的 YuE2/ComfyUI 前端,支持本地训练 LoRA — AcrobaticMaize2408 · 2026-10-20