北大推UniMotion统一框架，将人体运动纳入多模态大模型
机器之心 · wechat · 2026-08-15
北京大学等团队提出 UniMotion，将连续人体运动作为独立模态纳入统一多模态模型（UMM），实现文本、运动与 RGB 的统一理解与生成。该论文已被 ECCV 2026 录用。
- 核心架构：基于 Show-o21.5B 构建，文本走离散 token 自回归，Motion 和 RGB 编码为连续 latent，通过 Hybrid Attention 和按模态路由的 LoRA 协调信号。
- 技术创新：提出 CMA-VAE 实现运动连续表示与视觉语义对齐，推理时可移除视觉编码器；使用 LRA（Latent Reconstruction Alignment）进行 Motion-to-Motion 自监督预校准。
- 任务覆盖：统一支持运动理解、生成、预测、编辑及视觉人体恢复等七项任务。
- 实验表现：在 HumanML3D 等数据集上表现有竞争力，展示了在复杂动作提示下更完整的语义执行能力。
「多模态」频道最新
- AI 重制版《霹雳游侠》走红,马斯克与 Lex Fridman 担纲主演 — bennash · 2026-10-16
- ImageNet 该退休了:ImageNet 与文生图方法排名相关性为负 — YouJiacheng · 2026-10-16
- 开源 anatomy-reveal skill:把 Claude 变成产品拆解动画工作室 — msharmas · 2026-10-16
- 实测结论:Flux 3 Klein 不如上一代,Base 版被评「几乎不可用」 — Both-Rub5248 · 2026-10-16
- 中科大团队提出 Speculative Sampling，交互式视频生成延迟大降 — ustc · 2026-10-16
- 80万 Gaussian Splat 跑在 WebGPU，a16z 合伙人称可近无限扩展 — generativist · 2026-10-16