Ramp 发布 SWE-Bench v2:500 个真实生产任务考.agent 代码可合并性
charliermarsh · x · 2026-11-19
Ramp 发布 Ramp SWE-Bench v2,声称更贴近真实世界的"可合并性"标准。要点:
- 500 个任务全部来自真实 PR,由 200+ 名 Ramp 工程师贡献,均要求对 agent 初始实现做实质修改;
- 核心关注点是 agent 写的代码与真正能被合并的代码之间的差距,覆盖多个业务领域;
- 验证更严格,前沿模型在其原生 harness 中运行;
- Ramp 内部用这些基准在多家推理供应商之间分配推理额度,调整频率高达每周多次——"实际上所有代码都是 agent 代码"。
所属事件:Ramp 发布 SWE-Bench v2:Astra 以 76.4% 居首(3 条相关)→
「编程与Agent」频道最新
- OpenAI CLI 新增 explore 命令:用自然语言查找终端指令 — OpenAIDevs · 2026-11-19
- Mythical Creature:不做 Figma 原型的 AI 时代设计工作室 — round · 2026-11-19
- a16z 领投 Linq B 轮,押注 AI Agent 通信基础设施 — Scobleizer · 2026-11-19
- Gemini 4 Neon 编程 Agent 得 59 分,追平 Claude 旗舰且成本近半 — ArtificialAnlys · 2026-11-19
- Gemini 4 Neon 编程 Agent 追平 Claude Opus 5.5,成本仅其一半左右 — ArtificialAnlys · 2026-11-19
- 100% 本地跑通 5 人视频换人:H3MD 0.5 关键帧工作流详解 — ReferenceFluffy6159 · 2026-11-19