VideoMemBench 揭短视频对话记忆短板:Claude Opus 5 登顶也仅 45.7 分
机器之心 · wechat · 2026-11-21
悉尼科技大学、港中文、港科大与浙大研究者联合发布 VideoMemBench,评测多模态大模型在围绕同一视频多轮对话中能否记住并正确使用前文信息。
设计:不同于相互独立的问答,任务分两类依赖——
- 场景依赖:问题回指之前讨论过的某一幕(如「这个角色在开头那个场景出现过吗」);
- 答案依赖:沿模型此前识别出的人物/事件继续追问,且采用链式计分——历史答案错了当前也算错。
由 Planner/Generator/Judger 流水线构建并经人工复核,收录 326 段视频、2,476 轮问答,其中 1,387 轮需要借助前文。
结果(综合得分):Claude Opus 5 以 45.7 居首,Gemini 3.8 Flash 42.4、Kimi K3 42.2、GPT-5.6-sol 41.7、Qwen3.5-27B 34.3。表现最好的模型在答案依赖上也仅 35.7%。
发现:依赖距离从 1 轮增至 5 轮以上时,平均准确率从 30.2% 降至 23.1%;将历史回答替换为正确答案后表现明显改善,说明早期错误会污染后续判断。
「模型」频道最新
- 开发者吐槽 Antigravity 体验不佳,更怕接入 API 会被封号 — jeremyphoward · 2026-11-21
- 数学家 Alpöge 宣称与 Claude 共同证明星辰猜想,已形式化 — burny_tech · 2026-11-21
- Google 将变更隐私与训练数据控制选项 — blackice193 · 2026-11-21
- 陶哲轩官宣:AI 重度辅助攻克欧拉/NS 奇点与广义黎曼猜想 — burny_tech · 2026-11-21
- 7.5M 参数 TTS 不发 flat:kale-tts-nano 长句韵律实测追平 45.7M 模型 — NERDDISCO · 2026-11-21
- OVH 自研 Olala Mini 7A1B:RTX 5090 单卡解码 360 tok/s、支持 96K 上下文 — JiliJeanlouis · 2026-11-21