Meta Muse Spark 1.3 冲上 ProgramBench 第二,全部评测数据开源
jyangballin · x · 2026-09-30
ProgramBench 作者公布 Meta Muse Spark 1.3 的完整评测档案:在需从零编写 sqlite、ffmpeg、php 等完整程序的 SWE-agent 基准上,1.3 (max) 以 2.5% 完全解决率、25.0% 近似解决率排总榜第二,1.3 (xhigh) 排第三。
成本方面:max 档全程 API 花费 $1293、共 65,037 次模型调用,平均约 $6.5/题。语言分布上,C 项目 58% 的解被改写为 Python,Rust 项目 58% 仍用 Rust。作者同步开源了全部轨迹、最终代码库与测试通过明细。
所属事件:Meta Muse Spark 1.3 登 ProgramBench 第二并开源全部评测数据(2 条相关)→
「编程与Agent」频道最新
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- Effective HTML 走红 GitHub:4.2k 星的 agent 技能集,线框图秒变可交互原型 — tom_doerr · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16