新基准实测:大厂大模型更稳健,新玩家包括中国模型更易刷榜过拟合

srchvrs · x · 2026-11-08

srchvrs 引用 BlackHC 的「到处都是 benchmaxxing」吐槽并发长推:在某个基准上,训练数据量大的最新大模型确实更稳健、刷榜过拟合更少;美国成熟厂商资源充足、能把大模型训好,新玩家(包括中国的模型)则差距明显。作者自注这是单一基准的结果,但方向符合预期。后续补充:各家小尺寸「flash」版本稳健性更差,如 Luna、DeepSeek Flash、GLM-Flash;从 Luna 的成绩看,OpenAI 也没有让小模型稳健的魔法配方。