FlowHMR 开源:单目视频生成物理合理动作捕捉,LLM Agent 全流程自动化
Scobleizer · x · 2026-10-26
FlowHMR 官方实现已在 GitHub 开源(Apache-2.0,目前 187 stars),这是一个从单目视频生成物理合理(physically plausible)动作捕捉的生成式模型。
作者演示了完整自动化流水线:LLM agent 接收"从这段视频做一个简单 3D 动画"的指令后,自动搭建场景、调用 FlowHMR 做动作捕捉,再自动完成重定向、动作修复、相机设置与渲染,最后由 MiniMax-H3 把 3D 渲染转成照片级真实感视频。
- 基础模型 flowhmrbase 为 0.46B 参数,Tracking Success 78.79%
- 仓库将分步放出完整流程:推理代码与 checkpoints、预训练与 GRPO 后训练代码、Web demo、合成数据生成代码、Wild-4K 评测集
- Hugging Face demo 已可用
「多模态」频道最新
- CapCut 插件即将登陆 ChatGPT 桌面端，AI 生成可编辑视频草稿 — nikola_mr64990 · 2026-10-26
- 博主用 Seedance 2.5 产出惊艳 AI 视频,被赞杰作级效果 — SimplyAnnisa · 2026-10-26
- 全本地开源模型做出 10 分钟动画剧集，单集仅需约 4 GPU 小时 — Zangetsu__0 · 2026-10-26
- YC 项目 Moving Atoms 一键将激光扫描转为 5mm 精度可编辑 BIM 模型 — Scobleizer · 2026-10-26
- 单台 DGX Spark 跑 Imagination Studio 生成 AI 视频短片 Daybreak — Scobleizer · 2026-10-26
- 图解四条 TTS 数据清洗流水线:Fish Audio、Emilia、CosyVoice、NeMo 各有侧重 — solyarisoftware · 2026-10-26