LMMs-Lab 长文拆解评测困境:+2 分可能只是更会考试而非更强能力
liuziwei7 · x · 2026-11-18
LMMs-Lab 开设新专栏「Slack of Shining/朝闻道」,首篇长文《The Hard Road to Real Evaluation》系统讨论模型评测为何越来越难反映真实能力。文章以「时间段 × 生命周期阶段」为坐标:横向梳理评测从借用 CV/NLP 指标、任务定制指标,到动态在线评测、环境内交互评测的四个时期;纵向区分 pretrain、mid-train、post-train、deploy 各阶段该回答的不同问题。核心论点:排行榜已进入商业循环,+2 分可能只是更适配考题而非能力提升;runtime 泄露、grader 偏好与评分策略都会扭曲分数;动态评测能降低一类风险但增加测量成本且并非免疫作弊。文章提出「稳定核心 + 长尾探针 + 真实回归」的折中方案,主张评测应让分数追踪能力而非考试捷径,并在小世界里保留真实世界的关键约束。
「研究」频道最新
- TCS 学界发布声明:招聘重质量轻数量,抵制 AI 论文军备竞赛 — fortnow · 2026-11-18
- 论文提出语言创造性的社会文化视角:从社区实践看创意生成 — abenitezburraco · 2026-11-18
- 无需训练或梯度:27B 模型可自行改写权重提升 unseen 任务 — udmrzn · 2026-11-18
- 开源 EDA 工具十年逆袭:从「不可能」到设计出蓝牙信标芯片 — IgorCarron · 2026-11-18
- AURA 2.0 发布:流式视频模型学会主动开口说话并调用工具 — Shuhan Li · 2026-11-18
- Orabona 撰文驳 AdaGrad 预条件化解释:全矩阵界限常不如标量学习率 — bremen79 · 2026-11-18