别只盯着基准指标
yunta_tsai · x · 2026-07-13
作者认为,很多模型基准只是在优化“看起来有用”的代理指标,而不是真实任务中的整体价值。 他用 ImageNet 类比说明:早期基准能帮助起步,但当范式改变后,旧基准会变成误导。真正重要的是始终盯住最终目标,而不是只追逐短期可量化成绩。
yunta_tsai · x · 2026-07-13
作者认为,很多模型基准只是在优化“看起来有用”的代理指标,而不是真实任务中的整体价值。 他用 ImageNet 类比说明:早期基准能帮助起步,但当范式改变后,旧基准会变成误导。真正重要的是始终盯住最终目标,而不是只追逐短期可量化成绩。