北大发布 Motion-Omni:语音与全身动作端到端同步生成
aigclink · x · 2026-09-07
北京大学团队推出端到端口语对话系统 Motion-Omni,同时生成语音和同步全身动作,涵盖面部表情、手部及上下肢动作。
关键指标与做法:
- RTF 0.78,总响应时间 4.32 秒,快于实时
- 动作直接从生成语音的内部隐藏状态原生输出,语音与动作天生同步,而非「先合成语音再用音频驱动动作」的级联方案
- 相比同音频下 LOM 教师级联方案快 5.4 倍
- 目前仍是离线响应生成(接收完整用户语音后再输出),并非流式实时交互
意义在于给数字人补上「身体」,对数字人、虚拟主播、个人分身等场景,交互正从「录播感」走向「真播感」。
所属事件:北大发布 Motion-Omni,语音与全身动作实时同步生成(3 条相关)→
「具身」频道最新
- Skyfall AI 推出工程世界模型 SKY-001:文本转 CAD 构建,3.9 秒 vs GPT-6 的 199 秒 — rohanpaul_ai · 2026-10-27
- 欧洲第10国拉脱维亚批准 Tesla FSD,马斯克称赞小国审批最快 — elonmusk · 2026-10-27
- WanGP v18.81 支持 Hy-Nomas 世界模型,8GB 显存可用 WASD 探索 — cocktailpeanut · 2026-10-27
- NVIDIA 开源 FLORA:机器人数据引擎,成本仅 GPT-6 Astra 的 1/125 — nvidia · 2026-10-27
- 具身智能创业的隐藏难题:机器人公司需要另一种运营纪律 — ___Mufasaa · 2026-10-27
- π0.5 实验:演示数从 10 增至 438,放球入碗成功率 7%→83% — stingning · 2026-10-27