Together 实测 GLM-5.3 级联路由:成本降 57%,DeepSWE 得分反升 12 点
togethercompute · x · 2026-08-29
Together AI 发布 GLM-5.3 与 GLM-5.3 Flash 在 DeepSWE 编码基准上的深度对比与路由策略实测:
- 级联策略最优:先跑 Flash,测试不通过再升级到完整版 GLM-5.3,可解决 80.9% 的 DeepSWE 任务,单任务成本 \$1.70;单独用 GLM-5.3 为 69.0%、\$3.99——高 12 个百分点且成本低 57%。
- 差距只在首试:pass@1 差 5.6 分(69.0% vs 63.4%),到 pass@4 只差 2.6 分(87.6% vs 85.0%)。蒸馏去掉的是可靠性而非能力,而重试恰好能买回可靠性。
- 价格差 17 倍:\$3.99 vs \$0.24 每次 rollout;每 \$100 预算 Flash 能解 264 个任务,完整版只有 17 个。
- 能力保留、一致性丢失:完整版解出的 99 个任务中 Flash 仍能解 93 个,还额外稳定了 15 个完整版不稳定的任务、攻克 3 个完整版完全卡住的任务。
- Flash 的短板:在不稳定任务上,长跑命中率为 46%(完整版 61%),低于抛硬币;且更容易破坏已通过的基线测试(6.9% vs 4.4%),上线前需加回归门禁。
「编程与Agent」频道最新
- TRL 零时差支持 Muse Spark Open:64 张 H100 上 LoRA 微调 816B MoE — QGallouedec · 2026-10-16
- 工程师入职首日全靠 AI 提问,第二天就能提交有影响力的 PR — Yuchenj_UW · 2026-10-16
- Perplexity 开源支撑其 Computer 产品的智能体沙箱平台 SPACE — AravSrinivas · 2026-10-16
- Vercel Python 正式 GA:原生支持 FastAPI/Django 与 Fluid Compute — steren · 2026-10-16
- Claude Opus 5.5 + Unity 6 完整教程:六步从空文件夹做出可玩游戏 — Roger_M_Taylor · 2026-10-16
- mitsuhiko 儿子用 AI 做多人游戏,顺手教会老爸 PeerJS — mitsuhiko · 2026-10-16