ShadowDancer:用影子学习统一动态,实现视频世界模型任意动作控制
qixing_huang · x · 2026-08-03
ShadowDancer 提出了一种新的视频世界模型控制方法,通过学习视频及其“影子”的统一动态表征,实现对任意动作的帧级控制。
- 核心思路:受柏拉图洞穴寓言启发,将视频视为动态的一种“影子”。通过观察同一动态的两次渲染(影子对),分离动作本身与其共现的背景信息。
- 控制方式:无需标签或微调,使用冻结的编码器读取演示片段,即可实现第一人称射击、施法、跳舞甚至机械臂操作等多种动作控制。
- 应用场景:展示了在赛博朋克场景、怪物狩猎、舞蹈和机械臂控制等复杂视频生成中的帧级精确控制能力。
「多模态」频道最新
- 视频生成实测:H3 商业质感优于 Seedance 2.5 且更具性价比 — FellMentKE · 2026-08-03
- MiniMax H3 视频生成实测:参考图驱动效果惊艳 — SexyPapi420 · 2026-08-03
- Higgsfield MCP:让 Claude 变身全能创意制作团队 — mhdfaran · 2026-08-03
- 用 Claude + Higgsfield MCP 自动拆解爆款并生成 POV 视频 — mhdfaran · 2026-08-03
- 开源复现 MiniMax H3 上下文提示词系统 — xNaXDy · 2026-08-03
- MiniMax H3 模型实测:AMD 显卡生成 8 秒动漫风视频 — klemze · 2026-08-03