HelixWorld: A Real-time Interactive Audio-Visual World Model
Lei Ke, Jiahao Pan, Zeyue Tian, Jiaming Wang, Haoyuan Huang, Kam Man Wu, Pengjun Fang, Hongyu Liu, Chenyang Qi, Lin Wang, Ruibin Yuan, Weijia Chen, Fangneng Zhan, Qifeng Chen, Wei Xue, Yike Guo
cs.CV
2026-09-30
这个实时世界模型在单张 H800 上以 24 帧同时出画面和随镜头偏转的立体声，空间一致性得分 41.8，EchoWM 只有 12.6。
交互式世界模型能按键盘或镜头轨迹往前滚画面，声音却多半是成片之后再补上的。人一转头，脚步、材质和画面外的车声都该换位置，左右声道也该跟着偏。
级联配音拿不到 6 自由度相机轨迹和用户动作，声像不跟镜头走，还要等整段视频生成完。双向音视频底模能一起去噪，但没有控制接口，改成因果自回归后，历史误差会同时拖垮画面和声音。世界模型语料大多无声，野生视频里又挤满背景音乐、旁白和左右声道完全相同的假立体声。
HelixWorld 以 LTX-2.3 为底模，视频和音频 token 在同一个 Transformer 里做联合流匹配。先训看得到整段的双向教师，再蒸馏成少步、只看过去的因果学生。
素材 4.1k 小时，其中实拍 1.8k、带引擎记录的游戏 1.4k、开源子集 0.9k。先丢掉短于 5 秒的镜头、假立体声、字幕和水印，再切成 121 帧、24 fps、768×512、约 5 秒的片段，音视频一次切开。Qwen3-Omni 去掉口播、画中画和配乐，留下画面外的环境声。实拍位姿用 VGGT-Ω 估计，Depth Anything V3 收成米制，游戏用引擎真值。文本分成只写画面、只写声音、绑定可见声源三条。筛完是 3.0k 小时、210 万条，通过率 73.1%。
连续 6 自由度位姿经 PRoPE 改写每帧注意力的 query 和 key。离散的 81 类动作，水平平移和视角转速各 9 档，加到噪声强度上，用 AdaLN-Zero 调制。两路都先进视频分支，再靠跨模态注意力传给声音。解冻分三步：只训控制模块，再打开视频分支，最后联合做流匹配，免得一次训垮预训练的视觉特征。
学生把同时段的视频潜变量和音频 token 打成时间块，块内双向、块间因果，历史放进滑动 KV cache。单步预测先对齐因果教师的概率流终点，再用 self-forcing，训练时吃自己生成的历史。在线轨迹蒸馏从学生当前的带噪状态积到教师的干净终点，让这一步的速度对准教师的流。每次更新有 10% 的概率走这条损失，其余走分布匹配。长程微调滚到约一分钟，梯度只留在当前窗口。推流固定四步去噪。
画面用 WBench 导航切分，速度在单张 H800、768×512、24 fps 上测，计时含解码。RTF 取首块交付之后的稳态，小于 1 表示快于实时。
| 方法 | 声音 | RTF | 平均 | 交互 | 物理 |
| Alaya-EVOKE-Turbo | 无 | 4.29 | 82.0 | 83.9 | 74.0 |
| EchoWM | 有 | 1.98 | 81.0 | 87.9 | 70.1 |
| Zing-0.5 | 无 | 2.81 | 81.0 | 84.2 | 73.8 |
| HelixWorld | 有 | 0.77 | 79.9 | 86.4 | 70.9 |
| LingBot-World v2 | 无 | 5.21 | 79.4 | 82.8 | 69.1 |
| SANA-WM | 无 | 0.79 | 76.0 | 82.2 | 61.9 |
| Matrix-Game 3 | 无 | 0.58 | 71.3 | 83.6 | 59.3 |
| LTX-2.3 底模 | 有 | 14.61 | 74.2 | 66.4 | 64.9 |
HelixWorld 平均 79.9，低于 Alaya 的 82.0，也低于 EchoWM 和 Zing 的 81.0，贴近 LingBot v2 的 79.4。场景跟随 76.5，低于底模的 85.2。交互 86.4，低于 EchoWM 的 87.9，高于底模的 66.4。同为实时的 Matrix-Game 3 平均只有 71.3（RTF 0.58），SANA-WM 平均 76.0（RTF 0.79），二者都无声。EchoWM 平均略高，RTF 1.98，约是 0.77 的 2.6 倍。
HelixBench 有 1015 条人工核对的交互片段。空间分从 -100 到 100，看主声源在画面左边或右边时，更响的声道是否同侧。因果学生 41.8，教师 33.2，EchoWM 12.6，底模 1.0。同一条视频改配 AudioX、PrismAudio、ThinkSound，空间分变为 -5.7、-9.5、14.8。FAD 上学生 2.39、教师 3.08、EchoWM 7.75，KL 为 1.39、1.54、1.95。CLAP 上 AudioX 略高，0.309 对 0.302。DeSync 学生 0.59 秒，底模 0.40 秒，ThinkSound 0.42 秒，EchoWM 0.67 秒。和学生的教师比，KL、FAD、ImageBind（0.299 对 0.270）、CLAP、空间分都更高，只有对轴从 0.50 秒退到 0.59 秒。
渐进解冻把旋转误差从 0.1237 降到 0.1144，平移误差从 0.0957 降到 0.0823。三轨文本的 ImageBind 最高 0.246，纯画面文本为 0.237，提升有限。轨迹蒸馏再加长程微调，消融平均分从 77.9 升到 79.1。只加轨迹损失时，30 秒滚动里的云和地标更完整，DINOv3 多样性高 21.7%，CLIP 高 13.5%。20 个场景的盲测中，212 份带声回答里每个对阵都过半；190 份静音回答里，赢 Alaya、HY-WorldPlay 和 SANA，平 LingBot v2，输给 EchoWM。
视觉靠近 Alaya 和 EchoWM 那一档，没有超过它们。空间声的差距大得多：配音模型可以拿到负分，也就是声道经常偏到画面的反侧。
可玩的世界、第一人称预览、要听声音的仿真，需要视点一动、声场跟着动。单张 H800、768×512、含解码，稳态 RTF 0.77，这个速度可以边操作边出声。在线轨迹蒸馏用教师概率流约束学生速度，别的音视频模型要改成因果推流时，同一类约束也能用。
论文没有局限专节。平均分仍比 Alaya 低 2.1，物理分 70.9，对照 Alaya 的 74.0 和 Zing 的 73.8。静音盲测输给 EchoWM。声音把偏好抬上去了，画面单独看还在第二档。
空间分只分左、中、右，画面阈值 0.2，声道能量阈值 0.1，正中约四成宽度算居中。不做声源分离，雨声、多源和混响都不在分数里。DeSync 只覆盖 165 条事件，学生比教师更差。榜和空间分都是自建的。
实拍位姿来自 VGGT-Ω 和深度估计，旋转误差 0.234°，平移比 ViPE 差，尺度取单目深度的中位数。游戏才有引擎真值。估计误差会同时进动作标签和声像监督。81 档动作只覆盖水平移动、俯仰和偏航。平均速度达到 40 m/s，或加速度超过 20 m/s² 的轨迹会被丢掉，很快的运动进不了训练集。
RTF 不含首块延迟，测速只在 H800 上做过。训练用了 6 台机器、每台 8 张 H200，学生侧是 rank 256 的 LoRA。消费级显卡没有结果。长程微调抬高平均分，一致性和物理分并没有同步变好。超过 30 秒之后，主要靠定性画面。