vivo 与西电提出 StereoBind:让视频生成配上有空间感的立体声
Hanmo Chen · hf · 2026-10-12
vivo BlueImage Lab 与西安电子科技大学提出 StereoBind,解决联合视频-音频生成中被忽视的立体声问题。核心是「动态空间对应」:声音的感知位置需随视觉源的运动一致演化。
方法要点:
- Visual Motion Binding:建立源自感知的视听对应
- Spatial Track Encoder:捕捉源的绝对位置
- Residual Track RoPE:建模相对运动
同时构建了带运动轨迹标注的大规模立体声视频数据集 StereoWorld-29K 与评测基准 StereoWorldBench。实验显示 StereoBind 显著提升立体声生成的空间对齐,同时保持整体视听质量。
「多模态」频道最新
- 自称全球首部 AI 恐怖片《Jamlok》开拍,预计 3 个月完成 — lmoroney · 2026-10-12
- AI 重绘伊甸园逐出场景,细看藏了只 ALF 玩偶 — No-Lifeguard-8173 · 2026-10-12
- Minimax H3 本地跑远景人脸模糊，Reddit 用户求解 — Unique_Bag1444 · 2026-10-12
- 本地 SDXL 角色设计：固定剪影配色，只开放服装表情探索 — Alchemistwiza · 2026-10-12
- 用 ChatGPT 把 5 分钟涂鸦扩成史莱姆概念设定图 — Dry-Phrase-6008 · 2026-10-12
- LoRA Pilot 教程第三集：角色数据集浏览器上传与标注实操 — no3us · 2026-10-12