实测显示大模型更稳健,小模型与刷榜现象引关注
检索研究者 srchvrs 针对"到处都是 benchmaxxing"的吐槽发布基准实测:资源充足、训练数据量大的成熟厂商大模型更稳健、刷榜过拟合更少,而新玩家(包括中国模型)更易过拟合刷榜。补充实测还显示各家小尺寸 flash 模型(如 Luna、DeepSeek Flash、GLM-Flash)稳健性普遍弱于大模型,Gemini Flash 也难逃此规律。
2026-11-08 ~ 2026-11-08 · 3 条相关
- 新基准实测:大厂大模型更稳健,新玩家包括中国模型更易刷榜过拟合 — srchvrs · 2026-11-08
- 补充实测:各家 flash 小模型稳健性普遍不如大模型 — srchvrs · 2026-11-08
- 小型模型鲁棒性普遍不足,Gemini Flash 也难逃此规律 — srchvrs · 2026-11-08