北大发布 Motion-Omni,语音与全身动作实时同步生成
北京大学团队在 Hugging Face 发布端到端口语对话系统 Motion-Omni,可从共享隐状态同时生成语音对话与同步的全身共语动作,涵盖面部表情、手部及上下半身,补齐了数字人的肢体部分。技术方面采用可扩展的伪标签方法解决动作数据稀缺问题,性能达到 RTF 0.78、总响应时间约 4 秒,快于实时,动作直接从生成过程中产生。
2026-09-07 ~ 2026-09-07 · 3 条相关
- 北大团队发布 Motion-Omni:语音对话与全身动作实时同步生成 — PKU1898 · 2026-09-07
- 北大发布 Motion-Omni:语音与全身动作端到端同步生成,快于实时 — aigclink · 2026-09-07
另有 1 条近重复转述:aigclink