Meta-Video 指出视频理解评测黑箱:抽帧、后端、温度都会左右得分
HildeKuehne · x · 2026-10-14
研究者推出 Meta-Video 项目,质疑当前视频理解基准的评测方式:多数论文把 lmms-eval 等评测框架当黑箱使用,抽帧、预处理、prompt 格式、推理后端选择等设置被默认继承,很少被审视。
配图显示评测结果受三类设置影响:
- 推理与解码:后端(HF transformers vs vLLM)、batch size 影响数值与 padding
- 抽帧:帧数 N(8128)、均匀采样 vs 固定 fps、视频解码器(decord/torchvision/torchcodec)、帧分辨率(最大像素 200704602112)决定模型看到哪些时间与空间证据
- 模型输入:输入模态(mp4 vs jpg)、prompt 格式、解码温度(01.0)影响答案的随机性与视觉 token 化路径
结论:视频理解榜单分数可能被评测配置而非模型能力左右,需标准化这些变量。
「多模态」频道最新
- Everygen Wizard 上线：对话式完成整条视频工作流 — Scobleizer · 2026-10-14
- ElevenCreative 推出 Recast：一张参考照换掉片中演员 — SucceededMind · 2026-10-14
- 用海狸造坝动画讲透扩散模型原理,风格可爱易懂 — manicman1999 · 2026-10-14
- IsoVRBench：合成干预生成16万视频偏好对，替代人工标注训练奖励模型 — StellaLisy · 2026-10-14
- FLUX 3 Video 提速至 2 倍、降价 50%,支持原生 2K/4K 生成 — bfl_ai · 2026-10-14
- 开源 Kokon 编辑器：刷子圈选改图，Qwen-Image 2.1 无掩码也能局部编辑 — Ok-Director4174 · 2026-10-14