Meta-Video 论文:评测配置不同可致视频模型分数偏移 19.5 个百分点
HildeKuehne · x · 2026-10-15
Hilde Kuehne 团队（图宾根大学、MPI、MIT CSAIL 等）发布视频理解评测论文 Meta-Video（arXiv:2610.18535），并公开论文、代码与数据。
核心发现
- 视频基准分数通常由 lmms-eval 等框架按默认配置跑出，推理后端（HF vs vLLM ±3%）、输入格式（mp4 vs jpg ±4%）、视频解码器（±5%）、帧采样（±3%）、解码温度（±5%）等未受审视的评测选择都会造成波动；同一模型 checkpoint 仅因评测配置不同，准确率可偏移高达 19.5 个百分点，论文间的对比很难做到真正的 apples-to-apples。
- 许多基准样本不需要看视频也能答对，区分度有限，且全量评测成本高。
两项贡献
- Meta-Video：从 Video-MME、LongVideoBench、CVBench、VideoMMMU、VSI-Bench 等套件精选出的 1000 题、791 个视频的均衡基准，基本保留原模型排名，全帧数扫描（4–128 帧）推理提速 5 倍；作者称用现有 20% 的时间即可得到可靠的趋势结论，且趋势比现有平均分更清晰。
- Evaluation Cards：提议将推理后端、帧数、采样方式、解码器、分辨率、温度、prompt 等评测参数整理成标准化表格附在论文补充材料中，作为社区最佳实践。
所属事件:视频理解评测藏黑箱：同一模型仅改参数成绩差近20分(4 条相关)→
「模型」频道最新
- JetBrains 思考版 MoE 模型 Mellum 2.1 上架 HF,附 GGUF 量化 — JetBrains · 2026-10-15
- 微软意外泄露 OpenAI 机密：GPT-6.1 只是把思考循环从 3 减到 2 — evilsocket · 2026-10-15
- Bindu Reddy:OpenAI 模型家族太全面,token 支出正从 Anthropic 转向 OpenAI — bindureddy · 2026-10-15
- Modal 年化收入破 10 亿美元，7.5 亿美元 D 轮融资估值 157.5 亿 — Latent Space · 2026-10-15
- Kaggle 推出「猜猜哪个 LLM」竞赛:识别 6 家 18 个模型,奖金 5 万美元 — JFPuget · 2026-10-15
- 用 Gemini 4 Argon 写出 7342 行无依赖 HTML 生态游戏 — zacharynado · 2026-10-15