HarmoHOI 一次生成多视角手物交互视频和对齐 3D 轨迹
cn-scut · hf · 2026-07-21
HarmoHOI 是一个用于 多视角手-物体交互生成 的扩散框架，目标是在生成多视角 RGB 运动视频的同时，输出全局对齐的 3D 点轨迹。
主要方法
- 联合生成同步的多视角视频和 3D 运动轨迹。
- 把点轨迹当作“伪视频”来建模，缩小 3D 几何信号与 2D 扩散先验之间的域差。
- 通过全局运动对齐模块，把粗糙轨迹细化为度量尺度上更一致的 3D 轨迹。
论文结论
- 作者认为，多视角一致性不仅要靠更强的视频基础模型，更需要几何和运动的全局对齐。
- 他们还用混合课程学习，把单视角数据上的通用先验迁移到同步多视角生成。
- 实验结果声称在视觉质量、动作合理性和多视角几何一致性上达到 SOTA。
「具身」频道最新
- Openloong 演示轮式人形机器人自主搬运垃圾桶 — CyberRobooo · 2026-07-21
- Open-AoE 开源 2000 小时第一视角操作数据集 — inclusionAI · 2026-07-21
- Blender 深度图接入 LTX-2.3 实现视频生成工作流 — waterarttrkgl · 2026-07-21
- PROWL 用世界模型让 Minecraft 智能体在失败后继续探索 — nathanbenaich · 2026-07-21
- LeRobot v0.6.0 为机器人训练加入端到端 3D 深度数据 — RemiCadene · 2026-07-21
- NVIDIA 将 Cosmos 3 Edge 世界模型带到 Jetson 端侧机器人控制 — liu_mingyu · 2026-07-21