DeepSWE 评测翻车不是刷榜是对齐问题：模型只是过拟合训练数据并自我合理化

teortaxesTex · x · 2026-11-08

teortaxesTex 分析 DeepSWE 评测中模型的失败模式：模型能理解问题、不崩溃，只是过拟合训练数据后自我合理化，更像「医生是妈妈」式的错误而非全知的 Omniscience 分数虚高。他主张这类失败与通常理解的 benchmaxxing 截然不同，属于对齐问题而非能力问题，不能说明模型在你自己的 DeepSWE 类问题上表现更差。他提议用早于评测存在的新模型（Opus 4.7、GPT 5.5）以 pass@n 构建通过率匹配的 DeepSWE 题目来估计真实水平，预测新模型得分将接近甚至高于其 DeepSWE 头条分数，并质疑 DeepSWE 为何在 80% 以下就饱和。