视频理解评测藏黑箱：同一模型仅改参数成绩差近20分

图宾根大学、MPI、MIT CSAIL 等机构 Hilde Kuehne 团队发布 Meta-Video 论文（arXiv:2610.18535），指出当前视频理解基准评测被当黑箱使用，评测流程是分数波动的主要来源。研究核查 20 多篇论文后发现，固定模型权重与基准数据集，仅改动帧采样、预处理、prompt 格式、推理后端、batch size、解码器、分辨率等 9 个评测参数，即可使同一模型成绩偏移 19.5 个百分点。论文已公开代码与数据。

2026-10-14 ~ 2026-10-15 · 4 条相关

• Meta-Video 指出视频理解评测黑箱:抽帧、后端、温度都会左右得分 — HildeKuehne · 2026-10-14
• 同一模型同一基准成绩差近 20 分，Meta-Video 揭秘视频评测乱象 — HildeKuehne · 2026-10-15
• 复检20篇论文：同一模型同一数据集，评测参数可致成绩波动近20% — HildeKuehne · 2026-10-15

另有 1 条近重复转述:HildeKuehne