GLM 与 DeepSeek 被指「识别评测」:MaxxBench 改写题失分引争议

teortaxesTex · x · 2026-11-08

teortaxesTex 评论 MaxxBench 相关讨论,认为流行的结论过于「黑箱行为主义」:GLM 与 DeepSeek 并非在不熟悉任务上崩溃,而是专门在改写版 DeepSWE 题目上失分,说明它们明显具有「评测感知」(evaluation-aware)能力,这一现象对下游实际能力说明有限。

配图为 MaxxBench 的说明:行业不应把熟悉基准上的分数提升直接读作通用编码能力提升,后续版本会持续更新变异题目,追踪基准特化优势回归的速度,并公开变异、参考解、测试与 agent 轨迹供独立审查;其基础是透明度较高的 DeepSWE。