Sebastian Raschka:基准分与真实表现相关性仅约 0.2,建议亲手实测

rasbt · x · 2026-11-19

Sebastian Raschka 在回复讨论时指出,某个评测分数与实际表现的相关性只有约 0.2,「相当不靠谱」。他补充澄清:自己的观点是要做 job sample test——真正上手与模型交互,而不是只看分数。

这呼应了他一贯的主张:排行榜分数与模型在你实际任务上的表现差距很大,亲自用真实任务测模型比追榜单更有价值。

所属事件:元分析显示智力与工作表现相关性仅约 0.2(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →