SWE-bench实测:换Agent框架比换模型更能提升编码得分
_lewtun · x · 2026-08-07
开发者针对 10 种主流编码 Agent 框架（如 Codex、Claude Code 等）在 SWE-bench Pro 上进行了跨模型实测。结果发现，框架的选择对最终得分的影响极其显著，甚至超过了模型版本更迭带来的提升。
- 分数跨度极大：以 GLM-5.2 模型为例，更换框架能让 pass@1 从 23% 飙升至 52%；在 Gemma 4 26B-A4B 上也从 15% 提升至 36%。
- 排名不具普适性：框架的表现高度依赖底层模型。模型厂商自带的框架（如 Codex、Claude Code）在自家或大模型上表现好，但换用小模型时排名会大幅下滑；而模型无关的通用框架（如 crush、opencode）则在小型模型上排名跃升。两者间的排名相关性仅为 -0.05。
这表明当前 AI 编码领域过度聚焦于调优模型权重，而忽视了外围工程框架的巨大干预空间。
所属事件:SWE-bench实测表明换Agent框架比换模型更管用(2 条相关)→
「编程与Agent」频道最新
- DHH 深圳行：Omarchy Meetup 超 400 人报名，小米高管现场演示 — LoganGrasby · 2026-10-16
- shadcn 转发 ShadHub：GitHub Registry 目录站上线，可即时提交收录 — shadcn · 2026-10-16
- Sarvam 联手 Figma:基于 Indus 的 Agent 可经 MCP 直接在 Figma 里做设计 — itsOmSarraf_ · 2026-10-16
- 独立开发者给 Mac VM 应用加 MCP：让 agent 搞坏一次性克隆而非真机 — ScholarBackground836 · 2026-10-16
- ComfyUI 拖拽失效排查：第三方节点包劫持 drop 事件 — Inside_Chocolate_967 · 2026-10-16
- 为什么别人家的AI很强你的很拉：Agent四件套拆解 — yangyi · 2026-10-16