VideoMemBench 揭短视频对话记忆短板:Claude Opus 5 登顶也仅 45.7 分

机器之心 · wechat · 2026-11-21

悉尼科技大学、港中文、港科大与浙大研究者联合发布 VideoMemBench,评测多模态大模型在围绕同一视频多轮对话中能否记住并正确使用前文信息。

设计:不同于相互独立的问答,任务分两类依赖——

由 Planner/Generator/Judger 流水线构建并经人工复核,收录 326 段视频、2,476 轮问答,其中 1,387 轮需要借助前文。

结果(综合得分):Claude Opus 5 以 45.7 居首,Gemini 3.8 Flash 42.4、Kimi K3 42.2、GPT-5.6-sol 41.7、Qwen3.5-27B 34.3。表现最好的模型在答案依赖上也仅 35.7%。

发现:依赖距离从 1 轮增至 5 轮以上时,平均准确率从 30.2% 降至 23.1%;将历史回答替换为正确答案后表现明显改善,说明早期错误会污染后续判断。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →