CineSubBench: Evaluating LLMs on Long-Form Narrative and Cultural Understanding from Multilingual Movie Subtitles
Mir Tafseer Nayeem, Susmoy Chakraborty, Davood Rafiei
cs.CL, cs.AI, cs.ET, cs.LG
2026-09-29
用 1012 部电影的 813 万条六语字幕评测九款 LLM:最强模型写剧情梗概仍有 79.7% 漏掉主要事件,波斯语字幕全面最难。
法律、医学、代码早有专门的 LLM 评测集,电影一直没有,尽管它同时要求长篇叙事整合、多语言理解和依文化而定的观众判断。现有长文本基准多以文章和书为材料,叙事结构直接写在正文里;字幕轨是几千条按时间排序的短对白,没有说话人标注、没有场景边界、没有事件标记,开场一段闲聊的含义可能两小时后才显出来,模型得自己从散落全片的对白里拼出人物、关系、因果和主题。直接用整部视频做基准又会把选帧、解码、跨模态推理的选择混进分数,版权和存储还限制规模。字幕绕开这些,给开源和闭源模型同一个纯文本接口。CineSubBench 据此把电影立成长上下文评测域,并用同一批电影对齐多任务、多语言、多文化三个维度。
构建从 Kids-in-Mind 的 6186 部片单起步,用 IMDb 标识符跨源对齐、按元数据完整性过滤到 2322 部,再做覆盖优化:不按流行度逐个挑语言,而是搜索「哪组语言能共享最多的电影」,胜出的六种语言(英、阿拉伯、印尼、波斯、罗马尼亚、越南)保住 1231 部;同一算法选出十个国家的分级体系,定格 1012 部。阿拉伯语在频率榜只排第八,贪心选法会漏掉它。字幕过多层校验:SRT 结构、时间戳语法、时序倒置、时长覆盖率、编码级联,异常触发人工审查或换源重下;813 万条里清掉 6594 条广告、联系方式等非叙事内容。
七个任务分两族。叙事族:剧情前提、含剧透的完整梗概、主题句、22 类多标签类型预测。文化族:适龄年龄、十个国家各自的分级预测(每个国家保留自己的有序标签体系)、字幕证据锚定的语言安全评估,要求给出每类脏话所在的字幕行号,把「找证据」和「归类」拆开考核,只用英语轨。九个模型参赛,开放式生成由 GPT-5.6 Luna 按 1-5 分 rubric 评审,与独立评审相差一分以内的一致率 98.4%。
| 模型 | 综合 | 叙事总览 | 剧情 | 梗概 | 类型 micro-F1 | 分级 EM | 安全 strict F1 |
| Gemini 3.8 Flash | 78.04 | 3.54 | 4.16 | 3.34 | 84.93% | 77.87% | 77.8% |
| GPT-5.6 Sol | 74.70 | 3.52 | 4.10 | 3.40 | 81.55% | 65.42% | 74.5% |
| DeepSeek V4 Pro 1.6T | 65.52 | 3.25 | 3.91 | 2.93 | 81.63% | 58.03% | 48.3% |
总分领先不等于全面领先:梗概最强的是 Sol(3.40),其余六项全是 Gemini 第一;DeepSeek 的类型 micro-F1(81.63% 对 81.55%)和年龄一年内命中率压过 Sol,安全证据 F1 却只有 48.3%,比 Sol 低 26 个点。
四个更硬的发现:
对做长上下文、多语言或内容安全评测的团队,这是一个拿来就用的纯文本基准:平均 4 万到 4.5 万 token、最长超 10 万 token 的输入,不需要视频管线,不涉及影视版权分发。它把叙事整合、跨语言一致性、文化校准、证据锚定拆成可分开报告的维度,榜单总分抹平的恰恰是这些差异。对做影视检索、摘要、编目产品的团队,梗概一栏就是能力上界的提醒:前沿模型连事件完整的故事线都写不稳。
作者自述的边界:安全评估只覆盖能从字幕文本恢复的词汇证据,手势等非词汇内容和边界模糊的辱骂类别均被排除。读下来还有几处存疑:跨语言比较把字幕翻译质量搅进了分数,论文只校验各轨语种一致,没有审计非英语轨的翻译保真度,波斯语全面垫底可能部分是译制问题;片单源自 Kids-in-Mind,影片构成偏向美国家庭导向的评测语境,十分级体系里没有中国;开放式生成靠 LLM 评审打分,98.4% 的一致率也仍是模型评模型。论文尚为 preprint。