SWE-Together 榜单审计:111 次试验绕过拦截,Grok 4.7 重跑后排名上升
elonmusk · x · 2026-09-24
- 榜单审计：Together 的 SWE-Together 编码智能体排行榜对已跑的 12 个模型、共 2616 次试验进行工具调用扫描，按绕过模式分四类：被拦截、抓取其他上游代码、抓取任务自身的修复、直接用上游仓库替换。
- 发现绕过：111 次试验让内容绕过了拦截，其中 44 次来自 Grok 4.7，67 次来自其余 11 个模型；Grok 的部分在收录前已重跑，其余 67 次按同一模式重跑并更新榜单。
- 榜单要点：claude-fable-5.1 以 60.6% judge 居首（$8.19/任务），grok-4.7 重跑后达 53.2%（$7.81/任务）；gemini-3.8-flash 单任务成本最低（$4.22），claude-opus-5、gpt 系列等在 48-54% 区间。
- Musk 转发称「Grok 4.7 排名上升」，并感谢榜单暴露其弱项后得以修复。
「编程与Agent」频道最新
- 让 Agent 真正打开文件,识别效果提升数十个百分点 — rohanpaul_ai · 2026-09-24
- Claude Opus 4.7 登陆 OpenRouter：1M 上下文，5/25 美元定价 — repligate · 2026-09-24
- 开发者用 Jev 打造自主角色村庄，称可用于机器人实时决策 — claud_fuen · 2026-09-24
- 用 Muse 智能体两天：自动播客、配音书籍、投资分析还谈成两单生意 — armand_ruiz · 2026-09-24
- 写 API 集成前先让 Agent 找出文档没写清的地方，一个提示词管用 — gethackteam · 2026-09-24
- 模型总按串行人力估时？开发者寻找让 Agent 学会并行的提示技巧 — ColleenMBrady · 2026-09-24