长期做评测后会更怀疑分数
generativist · x · 2026-07-09
帖子转述了一种来自长期做评测的心态：做久了会对 eval 和 benchmark 产生“平静的怀疑”，甚至不会把它们视为了解模型真实能力的可靠依据。 作者指出，学院界和市场仍然要求这些指标，但真实世界使用场景往往更能暴露模型的实际表现，因此不能只迷信分数。
generativist · x · 2026-07-09
帖子转述了一种来自长期做评测的心态：做久了会对 eval 和 benchmark 产生“平静的怀疑”，甚至不会把它们视为了解模型真实能力的可靠依据。 作者指出，学院界和市场仍然要求这些指标，但真实世界使用场景往往更能暴露模型的实际表现，因此不能只迷信分数。