VTR-Bench: A Systematic Benchmark for Evaluating Visual Text Rendering in Video Generation
Yu Huang, Jungang Li, Zhiyuan Wang, Yonghua Hei, Song Dai, Jiayu Yang, Deyuan Liu, Xiang Zheng, Xiaoshuang Shi, Hao Cheng, Kaidi Xu
cs.CV
2026-10-01
VTR-Bench 用 300 条文字密集场景 prompt 测 11 款视频模型,最低 WER 仍达 0.250;关键帧 agent 框架把 Minimax H3 的 WER 相对再降 32.5%。
视频生成模型的画面已经接近电影质感,但场景里的文字是另一回事。论文开篇举了个例子:Seedance2.5 生成的一段 10 秒视频,场景与运动要求的 20 题清单拿到 0.90 分,海报主标题却写成「Posterer」,小字里 algae、vivid 等词接连拼错,词错率(WER,转录文字对参考文本的编辑距离比)0.552。画面逼真和文字正确是两种能力,而 VBench、VideoPhy 这类主流 benchmark 几乎只测前者;少数测文字的基准(如 T2VTextBench)只覆盖短文本,且全靠人工打分,复评一次模型成本很高。广告、科普、界面演示这类靠文字传信息的场景,字错了整条视频就不可用。
基准分数据集与评估管线两部分,核心思路是把「文字对不对」和「场景对不对」拆开测。
数据构建走多阶段流水线:专家定下广告、科学、界面、文化、生活五个大类,GPT-5.6 生成场景种子,人工筛重,DeepSeek-V4-Flash 扩写成完整 prompt,写明每段文字的逐字内容与载体(carrier,文字所在的物体:海报、标签、屏幕)。随后是可行性验证:Qwen-Image 为每条 prompt 生成 3 张参考图,VLM(视觉语言模型)检查文字与载体能否融进连贯场景,不过关就改写重验,连续三次失败整条重造,最后人工终审。关键取舍:参考图里的拼写错误不算 prompt 的错,题目不为迁就弱模型而放水。
最终 300 条 prompt(每类 60 条)共 1,202 个文字块,每条 2-6 块,94.3% 要求 3-5 块;单视频文字总量 58-496 token,中位数 102.5,长文本正是此前基准没覆盖的。
评估两条线互相独立:
两个分支都做了人工对齐;换 Qwen3.6-27B 复评,11 款模型排名完全一致。
| 模型 | 总体 WER ↓ | 总体 Video Score ↑ |
| Wan3.0(闭源) | 0.250 | 0.849 |
| Minimax H3(开源) | 0.447 | 0.756 |
| Seedance2.5(闭源) | 0.641 | 0.791 |
| Kling v3.0(闭源) | 0.979 | 0.793 |
| LTX-2.3(开源) | 0.996 | 0.607 |
开源阵营除 Minimax H3 外 WER 全部贴近 1.0 的上限,基本写不出可用文字。最有信息量的是 Kling v3.0 与 Seedance2.5 的对照:Video Score 同在 0.79 档,WER 却是 0.979 对 0.641。场景遵循度和文字保真度是两个维度,只看综合分会被完全掩盖。
失败分析覆盖 13,213 个文字目标:23.31% 是「载体在、字不可读」,只有 9.34% 是载体缺失;不可读诊断里的高频词是 small(3,595 次)和 blurry(3,196 次)。可读也不等于写对:Kling v3.0 转录率 79.62%,WER 仍是 0.979。提高分辨率能压低 Minimax H3 的 WER,LTX-2.3 在四种分辨率/时长组合下都贴近 1,配置救不了底层能力。
论文还配了推理时补救:Keyframe-Guided Agentic Framework。Director agent(Qwen3.7-plus)先用 Qwen-Image3.0 迭代生成、检查、修改首帧直到文字正确,再写运动规划交给权重不变的视频模型,出片后 VLM 复查文字稳定性并选片。在 Minimax H3 上,WER 从 0.4468 降到 0.3015(相对降 32.5%),Video Score 从 0.7562 升到 0.8315;比只喂首帧的 I2V(image-to-video)再降 9.4%,五个场景里四个占优,UI 场景反而是 I2V 的 WER 更低。人工对齐上,是非题判断与人类多数票一致率 92.15%,视频级 WER 的 Lin's CCC 达 0.9835。
这份数据把「文字渲染」从观感变成了可跟踪的指标,并证明它与场景遵循度基本脱钩:Video Score 涨不等于字写得更好。对广告、教育、UI 演示类应用,结论很直接:当前直接生成的文字不可信,最强的 Wan3.0 也错四分之一。agent 框架给出一条不重训模型、当即可用的补救路径,代价是每条视频多出数轮图像生成与 VLM 调用。横向看,Wan3.0 在这个维度拉开了与其他闭源模型的差距,此前没有基准能把这件事量化出来。