Verus-Insight: Towards Explainable Artifact Detection in AI-Generated Videos
Zhuoran Zhang, Yang Shi, Qixun Wang, Tengfei Liu, Yuqi Tang, Xuanyu Zhu, Yizhuo Jia, Jingyun Hua, Shixuan Liu, Xianghua Ying, Haotian Wang, Yuanxing Zhang, Pengfei Wan, Wenjing Yang
cs.CV
2026-10-22
在 Qwen3-VL-8B 上做检查规划、证据核验与证据汇总的三阶段训练,把 RewardData 上人类可见伪影的 Finding F1 从 3.38 升到 35.42,视频级平衡准确率从 48.81 升到 94.79。
生成视频已经很难靠肉眼分真假。审核和质量诊断要的是证据:错在哪一段时间、哪一块画面。
多模态大模型(MLLM,能看视频并写结论的模型)被用来找生成伪影,再判真假。常见失败有两类。一类漏掉细微时空异常,或把正常光照、跳切当成伪影。另一类真假判对了,证据却错或不完整。理发片段里头发无故突然变蓬。有的模型没看这段变化,有的看成正常造型,有的判成假片,却没指出这处伪影。上一步做对,下一步未必对。
Verus-Insight 把流程定成三步,底模 Qwen3-VL-8B-Instruct。
Inspection Planning(检查规划)给每条视频一份清单,只写要查的属性,不写有没有伪影。Evidence Verification(证据核验)逐条看画面,判异常或正常,并给出时间和框。Evidence Aggregation(证据汇总)只收核过的观察,不再加新指控,然后判真假。
数据按这条轨迹标注,用来堵捷径。人工记录可感知伪影的类型、描述、时间和范围,再写成中性检查项,原标注留作核验答案。清单若条条对应已知失败,清单本身会泄题。所以补上独立核验过的正常项:对物体、交互、时序提候选,确认正常才保留。配对之后打乱顺序。生成视频来自 Kling-2.5、Veo 3、HunyuanVideo-1.5、LTX-2.3、Wan2.2,真实视频来自 NExT-QA、OneThinker-STVG、DiDeMo 和互联网,并入 RewardData 训练集。
阶段一以 1:1 热身区域跟踪和清单规划。跟踪根据初始框预测指定时刻的框。阶段二做全流程监督微调,模型自己写出描述、清单、带定位的核验、汇总和裁决。阶段三用 GRPO,按一组采样的相对优劣发强化学习奖励。格式非法或真假判错,奖励为 0。判对之后才得分,基础分为 λ,假视频再按 Finding F1 加,真视频只有零伪影预测才加。正文未给 λ。
开发集上,清单热身加显式清单最好:Plan F1、Finding F1、BA 为 23.61、18.68、86.11。证据侧用区域跟踪热身并保留显式定位最好:20.28、18.25、83.16。
Verus-Bench 与训练、开发集不重复,专收细、局部、短时的伪影,逐帧人工标注时间和框。
BA 是真实视频和 AI 视频两类召回的平均。Plan F1 看检查项盖住多少人工伪影,Finding F1 看这些伪影是否被一对一找回。对不上的预测算假阳性,真实视频上的误报也算。
| 评测 | 指标 | Qwen3-VL-8B | Verus-Insight |
| RewardData | BA | 48.81 | 94.79 |
| Verus-Bench | BA | 66.67 | 89.06 |
| Artifact-Bench T1 | BA | 50.80 | 66.60 |
| ViF-Bench | BA | 54.25 | 60.51 |
| RewardData | Finding F1 | 3.38 | 35.42 |
| Verus-Bench | Finding F1 | 7.56 | 15.97 |
| RewardData | Plan F1 | 18.67 | 31.33 |
| Verus-Bench | Plan F1 | 17.08 | 24.70 |
RewardData 上,Finding 精确率/召回从 1.87/18.13 到 33.66/37.36,两边一起升。Finding F1 的 35.42 是全表最高。
VideoVeritas 在 RewardData 上 BA 91.12,Finding F1 只有 8.47。Verus-Insight 的 94.79 与 35.42 是开源模型里该两项的最高值。Verus-Bench 的 BA、Artifact-Bench 的 T1 和 T3 同样领先开源。T1 上 Gemini 3.1 Pro 为 69.60。T3 是精确匹配准确率,Verus-Insight 8.29,底模 4.86,Gemini 3.6 Flash 12.00。ViF-Bench 上它是 60.51,Skyra 为 63.81,Gemini 3.6 Flash 为 72.22。T2 准确率 45.60,低于 VideoVeritas 的 50.40,也低于自己的 T1 BA 66.60。
RewardData 上 Gemini 3.6 Flash 的 Plan F1 为 33.13,Finding F1 为 25.54,对照 31.33 与 35.42。到了 Verus-Bench,Finding F1 是 Gemini 3.6 Flash 27.63、GPT-5.5 23.53,Verus-Insight 15.97。该集视频级 BA,GPT-5.5 也是 89.06。
已覆盖的伪影里,最终被写成发现的比例,Verus-Bench 从 45.16% 到 54.88%,RewardData 从 30.48% 到 75.58%。底模的 Plan 召回更高。多出来的分在核验。真实视频上严格伪影误报率 1.20%,图 5 中最低。
ViF-CoT-4K 上 Plan F1 35.27,Finding F1 14.02,高于 VideoVeritas 8.08 与 BusterX++ 5.34。伪影不少于三处,以及不同时长和空间尺度上,Verus-Bench 的召回也高于这些专用模型。
去掉第二阶段显式清单后,BA 升到 Verus-Bench 90.63、RewardData 96.07,完整模型是 89.06 和 94.79。两个 F1 降到 21.54/13.76 与 26.57/29.35。去掉强化学习后,Verus-Bench 的 Plan F1、Finding F1 为 20.99、13.53。感知热身或清单热身拿掉,三项也一起降。
真假判对和伪影找对,可以分开涨分。VideoVeritas 那种高 BA、低 Finding F1,在只看真假的榜上会显得很强。Verus-Insight 把清单、核验、汇总写成同一段输出。汇总不允许临场补一条没核过的指控。
未训练的 Qwen3-VL-30B-A3B 在 Verus-Bench 上 BA 65.10,RewardData 上 52.70,都低于训完的 8B。Finding F1 仍在一成五附近时,适合做人工复核前的证据草稿。
Verus-Bench 的 Finding F1 只有 15.97,ViF-CoT-4K 为 14.02。多数人工伪影仍然没被写出来。RewardData 上从 3.38 到 35.42 跨度最大,可训练用了 RewardData 的训练划分,这是分布内成绩。
只优化 BA 时,显式清单是减分项:删掉之后 Verus-Bench BA 90.63,RewardData 96.07,高于完整模型。GRPO 在真假判错时把整段奖励清零,伪影描述再完整也没有分。这道门是否丢掉有用证据,没有实验。
Artifact-Bench 的 BA 66.60 对准确率 45.60,相差 21 个点,正文没解释。λ、标注一致性和耗时都未报告。附录里按时间跨度和空间大小拆开后,覆盖提升并不整齐。一对一语义匹配如果偏松,F1 会被抬高,匹配误差没有单列。
训练生成器止于 Kling-2.5、Veo 3、HunyuanVideo-1.5、LTX-2.3、Wan2.2。署名里有 Kling 团队,正文没有把该生成器单独留出。更新的生成器不在这些测试里。