Kirin: Animal Motion Generation from In-the-Wild Video
Brian Nlong Zhao, Zhuoyang Pan, James M. Rehg, Jiajun Wu, Shangzhe Wu
ECCV 2026
cs.CV
2026-09-02
UIUC 与斯坦福等从野外四足视频重建近 3 万条 3D 运动、18 万条字幕，做成 AiM3D。Kirin 用文本加图像条件扩散生成运动，再自动绑到 image-to-3D 网格。测试集 FID 从 AniMo 的 30.0 降到 6.25。
动物运动研究一直被数据卡住。人可以进动作捕捉棚，多数物种不行，现有集要么是美术手K，要么是游戏动画，动作种类少、和野外差一截。网上四足视频很多，但缺对齐的三维运动和文本。Ponymation 只在马这一个类别上做无条件生成；AniMo 吃的是游戏里抠出来的美术动作。Kirin 想走通一条全自动链：野外视频重建运动、学运动先验、按文本和图像生成，再绑到 image-to-3D 网格上直接能渲染。
三条流水线。重建：在 AiM 的野外四足视频上，用 AniMer 做逐帧 SMAL 初始化（41 维形状、35 个关节），再做序列级优化，投影对齐加 SO(3) 平滑，相机固定。全局位移另外用 SpatialTrackerV2 在未裁剪视频上估，再按头尾距离把尺度对齐到 SMAL。每条视频用 Gemini 2.5 Flash 写 6 条行为描述。得到 AiM3D：29,979 条运动，23 类四足，179,874 条字幕；230 条测试，其余训练。人工抽 100 条，86 条运动观感合格，字幕均分 4.62/5。
生成：在 MDM 上加图像支路。文本走冻结 DistilBERT，图像走冻结 DINOv3 全局特征，和时间步嵌入相加后送进 Transformer decoder 做 cross-attention。训练时文本和图像各以 0.2 概率独立丢掉，推理支持纯文本、纯图像或两者一起，用 classifier-free guidance。图像给的是形态和物种。用静态图而不用视频，是怕源视频把片段里的具体动作泄漏进去，限制泛化。
绑定：Rodin 从单张图出 T-pose 网格，Chamfer 拟合 SMAL 形状和 bind 姿态，k-NN 搬蒙皮权重，线性混合蒙皮按生成的关节变换逐帧变形。
AiM3D 测试集，相对目前公开的文本驱动基线 AniMo：
| 方法 | R-Precision Top-3 ↑ | FID ↓ | MM-Dist ↓ |
| Ground-truth | 0.281 | 0.004 | 5.517 |
| AniMo（原数据） | 0.089 | 30.043 | 8.564 |
| AniMo（AiM3D） | 0.088 | 30.516 | 8.659 |
| Kirin 纯文本 | 0.097 | 11.889 | 7.007 |
| Kirin 文本+图像 | 0.130 | 6.248 | 6.218 |
AniMo 换到 AiM3D 上重训，FID 几乎不动。Kirin 的架构差才拉开。外集 AnimalML3D（1260 条手K动作，谁都没训过）上 Kirin FID 138.1，AniMo 150.7，相对更好，绝对值离 ground-truth 的 0.235 仍很远。重建对比：Kirin 的 [email protected] 是 0.751，AniMer 0.537，快于 SMALify 的约 30 秒/帧，仍低于 SMALify 的 0.954。IoU 0.698，也低于 SMALify 的 0.867。定性上 AniMo 会出现骨架跨帧缩塌、动作和文本对不上；Puppeteer 依赖视频生成再反推运动，常常几乎不动。
这是目前最大的「野外视频–文本–三维运动」对齐集，23 类四足，生成模型第一次同时吃文本和图像。动画管线能从一张图加一句描述吐出可渲染网格，适合概念片和游戏草稿。别把它读成生物力学仪器：FID 6.2 对 0.004，R-Precision 也只有 ground-truth 的一半不到。贡献主要在数据规模和能跑通的绑定，生成质量仍是草稿级。
论文没有单独的局限节，数字自己把边界画出来了。SMAL 是四足模板，鸟、鱼、多足不在范围。重建失败集中在顶视、正视、背视、腿被挡、过快运动和晃镜头，约 14% 不合格。字幕是 VLM 写的，100 条里 3 条动作类标错，7 条方向或速度有小错。图像条件会压低 Diversity 和 Multimodality。外集 FID 仍是三位数。绑定依赖现成 image-to-3D，网格质量和 SMAL 骨架对不齐时，蒙皮只能差多少传多少。没有物理约束，滑步、穿地论文只靠定性看。ECCV 2026。