港大提出 JoHan：视频生成式联合恢复 2D-3D 手部运动更流畅

HKUCDS · hf · 2026-10-13

香港大学与 UC Berkeley 团队提出 JoHan，一个从视频序列直接恢复 3D 手部运动的统一生成式框架，不依赖逐帧姿态中间预测。模型从头训练，联合生成对齐的 2D 与 3D 局部手部姿态序列：生成的 2D 轨迹利用图像的时空线索引导 3D 运动重建，学习到的运动先验提升时间一致性，2D-3D 对应关系还可恢复手部相对相机的全局位置与朝向。在多个有挑战性的基准上，局部手姿与相机空间重建的精度与速度显著提升，运动明显比以往方法更平滑，同时保持高逐帧精度。