从业者观点：如今的头部厂商几乎没人直接在测试集上训练

nrehiew_ · x · 2026-10-29

作者提出：在今天的严肃玩家（头部模型厂商）中，几乎没有人真的在测试集上做训练。基准成绩更多只说明模型是否针对该基准所测的能力做过专门的后训练（post-training）。

他补充：过去确实有人直接在测试集上训练，尤其是为了发论文的场景——反正没人用你的模型，只能靠基准分数评价论文。但如今好/坏模型的成本和收益都太高，没有厂商会为了让模型卡片好看而发布一个在测试集上训练过的模型。