LMMs-Lab 长文拆解评测困境:+2 分可能只是更会考试而非更强能力

liuziwei7 · x · 2026-11-18

LMMs-Lab 开设新专栏「Slack of Shining/朝闻道」,首篇长文《The Hard Road to Real Evaluation》系统讨论模型评测为何越来越难反映真实能力。文章以「时间段 × 生命周期阶段」为坐标:横向梳理评测从借用 CV/NLP 指标、任务定制指标,到动态在线评测、环境内交互评测的四个时期;纵向区分 pretrain、mid-train、post-train、deploy 各阶段该回答的不同问题。核心论点:排行榜已进入商业循环,+2 分可能只是更适配考题而非能力提升;runtime 泄露、grader 偏好与评分策略都会扭曲分数;动态评测能降低一类风险但增加测量成本且并非免疫作弊。文章提出「稳定核心 + 长尾探针 + 真实回归」的折中方案,主张评测应让分数追踪能力而非考试捷径,并在小世界里保留真实世界的关键约束。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →