Ramp 发布 SWE-Bench v2:头部模型性能收敛,成本差异显著

金融科技公司 Ramp 发布更贴近真实工程的编码智能体基准 SWE-Bench v2,包含 500 个来自其 200 多名工程师实际工作的生产任务,评测采用 pass@1、N=500、high effort 设定。结果显示 Astra 以 76.4% 解决率居首,头部四个模型性能差距仅数个百分点,呈收敛趋势;但成本-解决率散点图显示各模型花费方式大不相同,为选择编码智能体提供了成本视角的参考。

2026-11-19 ~ 2026-11-19 · 2 条相关