ViDiHand 入选 NeurIPS Spotlight:视频扩散模型秒做 3D 手部动作捕捉
XingangP · x · 2026-10-13
Xingang Pan 团队的 ViDiHand（NeurIPS 2026 Spotlight）证明预训练视频扩散模型（VDM）可直接用于 3D 手部动作捕捉,呼应 GenCeption 等工作揭示的趋势——VDM 不仅是生成器,也是强大的视觉学习器。
核心洞察:能生成连贯视频意味着 VDM 隐式学到了运动、结构与对应关系,可迁移到感知任务。
要点:
- 从单目第一视角视频重建精确且时序平滑的 3D 手部动作,严重遮挡和复杂手-物交互下依然稳健
- 无需手部检测器、无需运动补全、无需测试时优化
- 在三个基准上大幅超越此前方法
作者认为视频生成模型有潜力成为 3D 感知与具身数据采集的基础模型。
「研究」频道最新
- UC Berkeley 提出纠错训练：扩散模型无需 CFG 也出高质量图 — kastnerkyle · 2026-10-14
- DeepMind 用 Gemini 零样本跑通蛋白质工程工作流 — alexechu_ · 2026-10-14
- Google 晒 5 年 90 篇疾病研究论文，押注 AI 攻关生物医药 — DeryaTR_ · 2026-10-14
- Caltech 物理系主任大首脑初上英文播客,谈 AI 能否先于人类发现物理定律 — TOEwithCurt · 2026-10-14
- World Mech AI:可解释性是扩展物理智能的关键而非可选项 — soniajoseph_ · 2026-10-14
- Gemini Argon 发现等离子体物理 60 年悬案新反例 — pushmeet · 2026-10-14