受控研究显示，文本到视频模型高度依赖训练数据质量
Amber Yijia Zheng · hf · 2026-07-23
Moving Alphabet 研究 训练数据 如何影响文本到视频生成，并搭建了一个可控的程序化测试平台。
论文通过生成不同字体、颜色、大小、位置、方向和速度的字母视频，再故意破坏元数据，来隔离分析数据分布和字幕质量的作用。主要结论包括：
- 视频内容与时长分布足够均衡且多样，对泛化能力至关重要。
- 字幕质量 会显著影响模型效果和训练效率，说明文本到视频模型在很大程度上受限于“视频理解”能力。
- 使用 classifier-free guidance 和在高质量数据上微调，能部分恢复被差字幕拖累的模型，但无法完全弥补糟糕的预训练数据。
作者据此强调，大规模视频生成研究不应只盯着模型结构，也要更重视预训练数据科学。
「多模态」频道最新
- 用 MiniMax H3 MAX 对一只蚊子放大招,蚊子毫发无伤 — Hailuo_AI · 2026-09-11
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- AI 电影节 Lumara 将登陆纽约,顶级 AI 电影人齐聚评审 — 0xAllen_ · 2026-09-11
- 翼龙侦探:全程 AI 生成的概念片先导预告亮相 — PterodactylDetective · 2026-09-11
- Imperium 游戏预告片曝光,AI 视频生成再秀肌肉 — keaslenyt · 2026-09-11
- FLUX.2 Klein 换表情易丢脸，实测不如免费版 Gemini 保真 — wacomlover · 2026-09-11