同一模型同一基准成绩差近 20 分，Meta-Video 揭秘视频评测乱象
HildeKuehne · x · 2026-10-15
图宾根大学、MIT-IBM 等机构的研究者发布 Meta-Video 论文，指出视频理解基准的评测流程是分数波动的主要来源：仅评测配置（帧采样、预处理、输入格式等 9 个参数）就能让同一模型 checkpoint 的准确率偏移高达 19.5 个百分点，因此文献中报告的提升可能只是评测设置的差异而非真实能力进步。
作者核查了 20 多篇论文，发现同一 backbone 在同一数据集上因评测参数不同成绩差距接近 20%。此外，许多基准样本不看视频也能答对，且完整评测开销高昂。
论文提出三项产出：
- Meta-Video benchmark：覆盖 5 个基准的 791 段视频、1000 道依赖视频的问题，以 1/5 算力保持模型排序；
- Evaluation cards：用一张表记录每个分数背后的全部评测设置（backend、batch size、帧数、采样、解码器、分辨率、prompt、温度），论文中每张表都附带；
- 开源论文、代码与数据集。
所属事件:视频理解评测藏黑箱：同一模型仅改参数成绩差近20分(4 条相关)→
「模型」频道最新
- Google 发布 Gemini 4 Argon，已有人用它做出 3D 世界和游戏 — FinanceYF5 · 2026-10-15
- Fish Audio Drama 3 登陆 vLLM:35B 语音模型单卡 H200 跑 128 路并发 — vllm_project · 2026-10-15
- GPT-6 Astra 为何在 LM Arena 排名仅第 30?用户吐槽贵且少用 — AreaExact7824 · 2026-10-15
- 多模型立场测试图热传:Sonnet 5.5 对框架操纵几乎免疫 — teortaxesTex · 2026-10-15
- Argon(Medium)5 分钟烧掉 85% 的 5 小时用量额度 — Avalunne · 2026-10-15
- 模型跑分对比成本图:Gemini 4 Argon 领跑帕累托前沿 — Hesamation · 2026-10-15