vikhyatk:公开的 eval 都是坏的,好评测必须私有

yacineMTB · x · 2026-11-18

开发者 vikhyatk 发表观点:只要评测集是公开的,它就是坏的,所有真正好的 eval 都应该是私有的。

这一说法触及 AI 评测的核心矛盾——公开 benchmark 一旦曝光就会被针对训练或过拟合,逐渐失去区分度;私下保留的评测才能反映真实能力。该观点引发圈内讨论,是评测方法论争论中的典型立场。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →