Meta 详解 Muse 实时语音架构:VQ token 流驱动音视频双解码
alex_conneau · x · 2026-09-24
Meta 的 Muse Realtime Voice 持续生成 VQ token:由语音解码器重建音频,一个 audio2video 解码器生成视频分块,实现约 870ms 延迟的实时对话 Avatar。作者称用扩散视频生成做 Avatar 虽是「暴力解法」,但核心在于这套高度优化的架构未来可扩展到更丰富的语音驱动交互世界——实时视频生成让 AI 不仅有声音,还有表情、身体和上下文。
所属事件:Meta 发布 Muse Realtime Avatar 实时数字人(18 条相关)→
「模型」频道最新
- 双板搭建测试：GPT-6 Astra 成功，Claude Fable 5.2 落败 — qinzytech · 2026-11-12
- Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点 — Don't Worry About the Vase (Zvi) · 2026-11-12
- antirez 背书:苹果 M5 本地跑低比特 DeepSeek 好过 27B 稠密模型 — antirez · 2026-11-12
- 被禁用视觉后 Gemini 自建文本图像硬扛基准,性能仅降 6% — zacharynado · 2026-11-12
- 实测三模型纯裸跑编码：Gemini 4 Carbon 代码质量惊艳性价比最高 — Semantic_meaning · 2026-11-12
- Google 发物理工程「最后考试」:14 个前沿模型全部不及格 — dl_weekly · 2026-11-12