Meta 发布 Muse Realtime Avatar：语音驱动实时数字人，延迟约 870ms
alex_conneau · x · 2026-09-24
Meta AI Research 发布 Muse Realtime Avatar，将 Muse Realtime Voice 的对话智能扩展为可实时交互的具身形象，响应延迟约 870ms，即将上线 Muse 与 Muse Charm 产品。
技术要点：
- 语音与形象共享同一条语音 token（VQ）流：Muse Realtime Voice 生成携带内容与情感的语音 token，音频解码器合成语音，Avatar 模型消费同一条流生成画面，保证语音、口型、表情天然同步。
- Avatar 是音频驱动的 Diffusion Transformer，以语音 token 流、参考媒体和近期视频 latent 的滚动窗口为条件，按因果短块生成视频；每块生成的最新 latent 成为下一块的运动上下文，使外观与举止在多轮对话间保持连贯，生成时长可随对话无限延续。
- 不只让肖像开口：全身插画会配合说话做手势、动物与日常物品也能获得表情化表现，且不失去各自特色。
- 只需参考图即可让任意形象进入实时对话。
所属事件:Meta 发布 Muse Realtime Avatar 实时数字人(18 条相关)→
「模型」频道最新
- 双板搭建测试：GPT-6 Astra 成功，Claude Fable 5.2 落败 — qinzytech · 2026-11-12
- Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点 — Don't Worry About the Vase (Zvi) · 2026-11-12
- antirez 背书:苹果 M5 本地跑低比特 DeepSeek 好过 27B 稠密模型 — antirez · 2026-11-12
- 被禁用视觉后 Gemini 自建文本图像硬扛基准,性能仅降 6% — zacharynado · 2026-11-12
- 实测三模型纯裸跑编码：Gemini 4 Carbon 代码质量惊艳性价比最高 — Semantic_meaning · 2026-11-12
- Google 发物理工程「最后考试」:14 个前沿模型全部不及格 — dl_weekly · 2026-11-12