SoulX-FlashHead + LFM3-Audio 全本地实时数字人，RTX 5090 延迟约 850ms
Acceptable-Cycle4645 · reddit · 2026-11-16
作者用三个模型组合搭建了全本地运行的实时对话数字人，demo 在 audio.cpp v0.9.5 WebUI 中可用：
- SoulX-FlashHead：根据生成的语音实时驱动一张肖像说话；
- OWSM v4：语音输入转写（ASR 并行运行）；
- LFM3-Audio：负责对话回复与语音合成。
有趣细节：LFM3-Audio 被调用两次——其 speech-to-speech 路径只有一种音色，于是单独用它的 TTS 能力换一种声音合成回复。
性能与限制：RTX 5090 上从提交问题到数字人开口约 850ms 延迟；视频生成阶段仍是 GPU 大户，建议 RTX 4090 以上跑 SoulX-FlashHead；cuDNN 对实时性能至关重要，没有它推理慢约 2 倍且显存翻倍。目前仍是原型，额外调用与 WebUI 开销还有降延迟空间。
所属事件:audio.cpp 0.9.5 推出全本地实时数字人语音聊天(2 条相关)→
「具身」频道最新
- Meta 曝光 AI 硬件 Muse Charm：挂绳小圆屏，为个人 AI 助理而生 — altryne · 2026-11-16
- Kids 写代码真机器人执行：Snap Spectacles AR 编程教具原型亮相 — stspanho · 2026-11-16
- Android 之父展示首款人形机器人:零件周五到、周一就能走 — xmercury_one · 2026-11-16
- Gemini Robotics 2.5 发布：奔驰产线分拣成功率 96% — dl_weekly · 2026-11-16
- 70 美元自制全息桌面伴侣:ESP32 AMOLED 加分光棱镜就行 — PurzBeats · 2026-11-16
- 具身 AI 机器人进驻深圳快递分拣中心，接管夜班包裹分拣 — yogthos · 2026-11-16