视频生成模型用于4D手部动捕
新智元 · wechat · 2026-07-13
新智元介绍了 ACE-ViDiHand：一种把**视频生成模型**直接用于**4D 手部动捕**的方法，不再依赖传统“先检测手、再估姿态”的路线。作者称它在 ARCTIC、HOT3D、HOI4D 三个基准上表现很强，尤其在遮挡场景下显著优于先前方法。 这套方法的核心思路是：先让模型在视频帧上叠加手部渲染，逼它在内部维护被遮挡时的 3D 手状态；再从 DiT 中间层特征里直接读取手部姿态。文中强调它不需要检测器、裁剪、运动补全或测试时优化，能直接从全帧视频一次前向输出双手 4D 轨迹。 文章进一步把它上升为具身智能的数据入口：如果能从海量第一视角视频中稳定抽取手部运动，就能把“野生视频”变成可学习的数据资产。作者认为，这代表了 4D 手部重建从专用补丁方案走向“继承视频世界模型能力”的范式转移。