Ramp SWE-Bench v2 榜单:头部四模型差距仅数点,花钱方式大不同
charliermarsh · x · 2026-11-19
Ramp 发布 SWE-Bench v2 新榜单(pass@1,N=500,high effort),一张成本-解决率散点图揭示几个关键事实:
- 性能收敛:模型性能总体随规模和 test-time compute 提升但回报快速压缩,头部四款模型解决率彼此只差几个百分点(约 72%-77%),但单位任务成本从约 $1 到 $3+ 不等。
- 算力花费方式差异大:图中 Gemini Carbon 的输出 token 量是 Claude Opus 5.5 和 GPT 6.1 Terra 的 4 倍;Anthropic 模型完成任务所需轮数最少,OpenAI 的最快。
- 榜上还有 OpenCode 6.2 Astra、Codex 6.2 Sol、Grok 4.7、DeepSeek Harness 跑 V4.1 Flash(约 $0.15 成本做到 61%)等差异化组合。
对采购决策有直接参考价值:同分不同价,性价比差距悬殊。
所属事件:Ramp 发布 SWE-Bench v2:头部模型性能收敛,成本差异显著(2 条相关)→
「编程与Agent」频道最新
- FT:赶工修复 AI 找出的 bug,导致美国科技公司频繁宕机 — nordicinst · 2026-11-19
- ANT 上市前夜数据:Claude Code 一年反超 Cursor 和 Copilot — antgoldbloom · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- Orchestrator Cloud Agents 结束测试正式上线 — julianweisser · 2026-11-19
- 开发者开源企业级 Agent 审计追踪模型:10 个数据模型找安全工程师挑刺 — TheHamzaShahbaz · 2026-11-19