复检20篇论文：同一模型同一数据集，评测参数可致成绩波动近20%
HildeKuehne · x · 2026-10-15
Hilde Kuehne 团队在核查 20 多篇视频理解论文后发现：固定模型权重与基准数据集、仅改动评测参数（推理后端、batch size、抽帧方式与帧数、视频解码器、分辨率、解码温度等），同一 backbone 的成绩波动可接近 20%。
- 例如帧数从 4 增到 128、或从 .jpg 换成 .mp4 输入，Meta-V 综合分差异巨大；解码温度从 0 升到 1 也会拉低多个基准
- 抽帧策略与帧数对 TempComp、LongVideoB 等长视频基准影响最明显
- 结论：视频理解领域相当一部分「进步」可能只是评测配置差异，论文应强制披露完整评测参数
所属事件:视频理解评测藏黑箱：同一模型仅改参数成绩差近20分(4 条相关)→
「模型」频道最新
- JetBrains 思考版 MoE 模型 Mellum 2.1 上架 HF,附 GGUF 量化 — JetBrains · 2026-10-15
- 微软意外泄露 OpenAI 机密：GPT-6.1 只是把思考循环从 3 减到 2 — evilsocket · 2026-10-15
- Bindu Reddy:OpenAI 模型家族太全面,token 支出正从 Anthropic 转向 OpenAI — bindureddy · 2026-10-15
- Modal 年化收入破 10 亿美元，7.5 亿美元 D 轮融资估值 157.5 亿 — Latent Space · 2026-10-15
- Kaggle 推出「猜猜哪个 LLM」竞赛:识别 6 家 18 个模型,奖金 5 万美元 — JFPuget · 2026-10-15
- 用 Gemini 4 Argon 写出 7342 行无依赖 HTML 生态游戏 — zacharynado · 2026-10-15