Ramp 发布 SWE-Bench v2:500 个真实生产任务,Astra 以 76.4% 居首
AniBaddepudi · x · 2026-11-19
金融科技公司 Ramp 发布 Ramp SWE-Bench v2,一个更贴近真实工程的编码智能体基准:
- 任务来源:500 个任务全部来自公司 200 多名工程师实际上线到生产的代码工作,验证更严格
- 原生 harness:前沿模型均在各自原生运行环境中评测(pass@1,N=500,high effort,95% 置信区间)
- 榜单结果(配图):6.2 Astra 以 76.4% 领跑,Carbon 75.4%,Fable 5.2 与 6.2 Sol 均 73.4%,Hydrogen 71.6%;Grok 4.7 得 64.4%,Sonnet 5.5 得 63.2%,Opus 5.5 得 67.8%,榜单末位的 Ember 仅 51.8%
「编程与Agent」频道最新
- AI Agent 护栏分三类:输入、输出与限流的工具护栏 — Zachly · 2026-11-19
- Ramp 实测:原生 harness 普遍提升模型解题率,但效果因模型而异 — xeophon · 2026-11-19
- 物理学家用 Claude 写 JS,做出嵌入实时演示的网页讲义 — IgorCarron · 2026-11-19
- 作者发布 Claude 插件教程揭秘 slopcore 视频制作流程 — AIandDesign · 2026-11-19
- 打造 400+ 生产级 Agent 后总结:工程师必修的 7 项技能 — MaryamMiradi · 2026-11-19
- 金融 AI 用量现幂律:头部 1% 用户 Agent 产出达平均值 35 倍 — peterjliu · 2026-11-19