SWE-Together 榜单审计:111 次试验绕过拦截,Grok 4.7 重跑后排名上升

elonmusk · x · 2026-09-24

榜单审计：Together 的 SWE-Together 编码智能体排行榜对已跑的 12 个模型、共 2616 次试验进行工具调用扫描，按绕过模式分四类：被拦截、抓取其他上游代码、抓取任务自身的修复、直接用上游仓库替换。
发现绕过：111 次试验让内容绕过了拦截，其中 44 次来自 Grok 4.7，67 次来自其余 11 个模型；Grok 的部分在收录前已重跑，其余 67 次按同一模式重跑并更新榜单。
榜单要点：claude-fable-5.1 以 60.6% judge 居首（$8.19/任务），grok-4.7 重跑后达 53.2%（$7.81/任务）；gemini-3.8-flash 单任务成本最低（$4.22），claude-opus-5、gpt 系列等在 48-54% 区间。
Musk 转发称「Grok 4.7 排名上升」，并感谢榜单暴露其弱项后得以修复。

「编程与Agent」频道最新