NVIDIA 团队发布 JCA:为任意骨骼协同生成 3D 动作与视频
nvidia · hf · 2026-10-21
NVIDIA 与 Technion、Bar-Ilan 大学的研究者发布论文《Joints, Camera, Action!》(JCA),提出让模型为任意骨骼结构(rig)协同生成 3D 运动与视频的统一框架。
- 方法核心:通过 cross-attention 将 3D 运动与预训练视频生成器耦合,实现场景级配准的动画输出
- 支持双向转换:视频转 3D 运动(video-to-motion)与运动转视频(motion-to-video)
- 支持多种输入形态:骨骼动画、关键帧控制的首末帧运动等
这项工作把角色动画、视频生成与运动捕捉打通,对动画制作和具身仿真的工作流有直接意义。
「多模态」频道最新
- 布拉迪斯拉发将办首届 AI 电影节 UMELINA，2026 年 11 月免费征片 — lmoroney · 2026-10-21
- AI Agent 用 GarageBand 自动为乔布斯演讲配乐 — itsOmSarraf_ · 2026-10-21
- EasyMOSS 工作流放出：MOSS 模型 bbox 区域控制轻松玩转 — Quiet_Quit_8894 · 2026-10-21
- Fish Audio 获 5200 万美元种子轮，发布开源情感 TTS 模型 Drama 3 — fekdaoui · 2026-10-21
- 解锁 ComfyUI 内置 SA-Solver：低步数下 eta=1.7 比 Euler 质感更好 — YakovSava · 2026-10-21
- 用 Claude Code 渲染 Chromium 帧加 ffmpeg，几分钟做出歌词视频 — aitrendz_xyz · 2026-10-21