audio.cpp 0.9.4 上线本地实时数字人语音聊天,5090 延迟约 850ms
Acceptable-Cycle4645 · reddit · 2026-11-16
- audio.cpp 0.9.4 的 WebUI 新增实时数字人语音聊天应用, pipeline 由三个模型组成: SoulX-FlashHead 负责实时生成说话头像, OWSM v4 负责语音转文字, LFM3-Audio 负责对话回复与 TTS。
- 因语音到语音路径只提供一个音色, LFM3-Audio 会被调用两次: 再用其 TTS 把 S2S 回复合成为另一个声音, ASR 则与生成并行运行。
- 性能数据: RTX 5090 上从提问到头像开口约 850ms; SoulX 视频生成环节 GPU 开销大, 建议 RTX 4090 以上; cuDNN 是实时性能的必要条件, 缺失时推理慢 2 倍且显存翻倍。
- 作者指出可优化空间: LFM3-Audio 双调用、原型 UI 的开销, 原生应用与更优化实现可进一步降低延迟。
「具身」频道最新
- 具身 AI 机器人进驻深圳快递分拣中心，接管夜班包裹分拣 — yogthos · 2026-11-16
- Physical AI 进入工厂实测：可靠性、安全标准与单位任务能耗定成败 — ingliguori · 2026-11-16
- 开发者:若能电机化球关节,人形机器人将大幅简化 — _Stocko_ · 2026-11-16
- 迈阿密少年袭击载有乘客的 Waymo, council:照样算自动驾驶事故 — deanwball · 2026-11-16
- Kalshi 称苹果拟 2027 年推出 Siri 智能眼镜 — nima_owji · 2026-11-16
- Tom Silver 每周荐文:干预本身也是机器人学习的信号 — tomssilver · 2026-11-16