受控研究显示，文本到视频模型高度依赖训练数据质量
Amber Yijia Zheng · hf · 2026-07-23
Moving Alphabet 研究 训练数据 如何影响文本到视频生成，并搭建了一个可控的程序化测试平台。
论文通过生成不同字体、颜色、大小、位置、方向和速度的字母视频，再故意破坏元数据，来隔离分析数据分布和字幕质量的作用。主要结论包括：
- 视频内容与时长分布足够均衡且多样，对泛化能力至关重要。
- 字幕质量 会显著影响模型效果和训练效率，说明文本到视频模型在很大程度上受限于“视频理解”能力。
- 使用 classifier-free guidance 和在高质量数据上微调，能部分恢复被差字幕拖累的模型，但无法完全弥补糟糕的预训练数据。
作者据此强调，大规模视频生成研究不应只盯着模型结构，也要更重视预训练数据科学。
「多模态」频道最新
- Runway 发布 App Studio：描述即生成图片视频音频创意应用，无需代码 — runwayml · 2026-10-27
- 让 Claude 全自动制作催泪广告片，脚本生成剪辑一条龙 — aakashgupta · 2026-10-27
- 用 Astra 计算机视觉操控 Premiere Pro 剪辑，10 个实用玩法 — beechinour · 2026-10-27
- Galaxy S26 纯端侧跑 MiniMax H3：7 分钟生成 5 秒带音频视频 — BidFunny4862 · 2026-10-27
- Krea 推出 Premiere Pro 插件:剪辑时间线内直接生成视频与音效 — lmoroney · 2026-10-27
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27