DeepSWE基准：同族模型间任务成功率相关性低，且存在完全两极分化
ZainHasan6 · x · 2026-07-08
ZainHasan6分析了DeepSWE编程评测基准上同家族模型的成功率相关性，发现Claude Opus与GLM相关性最高，其次是Opus与Sonnet、Sonnet与GLM。更值得关注的是：有5个任务出现完全两极分化——Opus全部失败但Sonnet全部通过（或反之），表明即使同族模型在某些任务上也存在系统性差异，能力强弱并非线性排列。
ZainHasan6 · x · 2026-07-08
ZainHasan6分析了DeepSWE编程评测基准上同家族模型的成功率相关性，发现Claude Opus与GLM相关性最高，其次是Opus与Sonnet、Sonnet与GLM。更值得关注的是：有5个任务出现完全两极分化——Opus全部失败但Sonnet全部通过（或反之），表明即使同族模型在某些任务上也存在系统性差异，能力强弱并非线性排列。