The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation
Yichen Liu, Quanwei Zhang, Haozhe Wang, Donghao Zhou, Xiaojie Li, Yang Shi, Jiaming Liu, Ruihua Huang, Yingtian Zou, Daquan Zhou
cs.MM, cs.CV
2026-09-02
给LTX-2.3交叉注意力加上剧本时间路由后，200条测试剧本的分镜误差从1.11秒降到0.042秒，台词半秒内命中率从28.3%升到84.1%。
联合音视频生成已经能把画面和声音对上口型，但剧本要的不是彼此同步，是按秒执行。短剧和广告这类脚本驱动场景里，分镜几点切、台词几点开口都写在结构化提示里，模型却经常切错镜、说错时。画面和声音还对得上，只是整段都偏了剧本时间轴。
根因很具体。现有联合生成器把视频和音频对齐到同一条时间轴，分镜和台词的时刻却只写在文本编码里，没有和任一模态的时间坐标对齐。Presto、ShotAdapter 这类视频侧局部提示也只管画面，不管音画一起听剧本。
TCR 搭在 LTX-2.3（22B 联合音视频生成器）上，只改视频-文本和音频-文本交叉注意力，自注意力和音视频交叉注意力不动。结构化剧本沿用 MTSS 的四类提示：Reference、Shot、Event（实验里主要是对白）、Global。timerange 从文本里抽走，单独编成 token 级时间表。
每个 token 带着父提示的时间区间。TCR 按区间中心和半径算一个时长归一化的高斯路由分，加到交叉注意力 logit 上。区间中心分是 0，两端是 −β/2。β 固定为 5，端点权重大约只剩中心的 8%。分镜和台词可以时间重叠，各自独立路由，对白可以跨切镜继续说话。TCR 本身没有可学参数，只 LoRA 适配原联合 flow matching 目标。
数据是另一半。从两部短剧合集做出 57,022 条训练样本：先在无语音区切 clip、内部保留分镜；Gemini 按 schema 写粗时间戳；再用 PySceneDetect 修切点和 WhisperX 对齐词级对白，全部落到 0.1 秒网格。评测 200 条测试剧本，640 个 Shot、441 条对白，和训练集没有片源或 caption hash 重叠。
端到端对比开源联合生成器，TCR 把分镜边界 MAE 从最强基线 LTX-2.3 的 1.11 秒降到 0.042 秒，降幅 96%；Shot IoU 从 0.532 升到 0.957，镜数完全正确率从 36.0% 升到 93.0%；台词 [email protected] 从 28.3% 升到 84.1%。画面 IQ 0.7032、Sync-C 2.78、WER 8.48%，都好于或持平基线。唇音偏移准确率 30.5%，和 LTX-2.3 的 31.2% 基本持平。
| 方法 | Shot B-MAE (s) | [email protected] (%) | Shot Count Acc. (%) |
| Wan2.2 | 2.31 | — | 9.0 |
| OVI | 1.84 | 8.6 | 17.0 |
| JoyAI-Echo | 1.81 | 23.2 | 15.5 |
| LTX-2.3 | 1.11 | 28.3 | 36.0 |
| TCR | 0.042 | 84.1 | 93.0 |
同一骨架上换时间算子：Gaussian Interval RoPE 的 MAE 是 0.113 秒，硬区间掩码 0.108 秒，TCR 0.042 秒，再降 60% 以上。粗标注不精修，MAE 回到 0.375 秒，[email protected] 掉到 37.6%。分镜只给视频、台词只给音频，对白准时率和唇音同步都会掉。28 人盲测 16 个样本，含平局分母，TCR 对 LTX-2.3 总偏好 72.3%，对 JoyAI-Echo 83.9%。
脚本驱动短剧和广告现在卡在「生成出来了，但剪辑点不对」。TCR 说明这件事不必重训 22B 骨干：把时刻从文本里拆出来，当成加性注意力偏置，就能让分镜和台词按秒落地，画质和音画同步基本不赔。已经在用 LTX 一类联合生成器的团队，这是一条可 LoRA 的控制补丁，不是新的生成范式。
论文没有单独写局限，能看到的边界很清楚。评测只有 200 条短剧脚本、单次采样、无首帧条件，没有长剧、多语言对白或复杂音效 Event 的压力测试。路由强度 β=5 全模型共用，没按镜头长短调。数据精修依赖 Gemini、镜头检测和 WhisperX 的级联，错配会被直接丢掉，覆盖率和偏差没有报告。用户研究只有 16 个样本、28 人，偏好数字不能外推到生产验收。更关键的是，TCR 假设剧本已经带精确 timerange；真正从文学剧本到时间表的那一步，仍交给上游 LLM。