Meta 向全美用户开放 Muse 实时视频通话,响应延迟仅 870ms
rohanpaul_ai · x · 2026-11-06
Meta 向全部美国用户开放与 Muse AI agent 的实时视频通话:用户可看到可换风格(人物、动物等)的动画头像,边听边实时反应。
技术要点:
- Muse Realtime Voice 输出同时承载语义与语气的语音 token,Muse Realtime Avatar 将同一流转换为口型同步视频
- 用学生模型以每视频块 2 次前向复现教师模型 120 次前向的效果,实现实时运行
- 以 448x768 竖屏、25fps 流式输出,用户停顿后约 870ms 即开始回复
- 经 4-bit 量化、缓存与动态 batching,单张 GB200 可同时跑 12 路视频流
内部测试(2-3 分钟通话)中,评分者对 Muse 的偏好对比 Runway Characters 为 78%:22%,对比 HeyGen LiveAvatar 为 88%:12%。但按每 GB200 12 路计算,服务 100 万并发通话仅视频就需约 8.3 万张 GB200,服务成本可能限制该功能的普及。
所属事件:Meta 向全美用户开放 Muse 语音与实时视频通话(11 条相关)→
「多模态」频道最新
- GPT Image 2.6 登顶 Image Arena，速度最高提升 2.6 倍 — cantrell · 2026-11-06
- FLUX 3 Image 系列登陆 AA 图像榜：动画游戏用例表现最强 — ArtificialAnlys · 2026-11-06
- AA 评测：FLUX 3 全系 19 项文生图类别全面超越 FLUX.2，Klein 逼近开源第一 — ArtificialAnlys · 2026-11-06
- Minimax 角色替换 LoRA 实测：无遮罩角色追踪几乎一次过 — tindell- · 2026-11-06
- AI 动画短片 STORM-BORN 展示电影级狼特写镜头 — RealisticValuable484 · 2026-11-06
- Midjourney 加 Kling AI 打造巴洛克莫扎特风格 AI 音乐视频 — creatoroff · 2026-11-06