开发者用开源视频模型给本地语音 Agent 加上实时数字人头像
Scobleizer · x · 2026-11-19
开发者 John Robinson 受 Nuance Labs 实时视频对话模型 Nuplex(演示中可与人脸对脸视频聊天、口型逼真)启发,为自己的本地语音助手项目 macvoice 补上了「脸」。
要点:
- 项目名 AvatarVoice,给本地 voice agent 生成实时说话头像,通过 WebRTC 在浏览器中流式输出。
- 硬件用 Linux+CUDA,两张 NVIDIA RTX 6000 Blackwell 提供 VRAM 与算力余量(作者认为可压缩到单卡),以满足实时视频+口型同步的算力需求。
- 模型选用了开源权重视频模型 AvatarForcing(arXiv 2601.00664),其推理代码适合这类「流式边说话边生成」场景。
「编程与Agent」频道最新
- Datadog 联手 Baseten 微调 Qwen 3.5 9B,摘要任务提速约50倍 — baseten · 2026-11-19
- 博主用个人 Agent 自动剪辑直播,两句话提示词产出高光切片 — Scobleizer · 2026-11-19
- OpenClaw 不止单 agent:用 Specialist Teams 搭一支小型 agent 舰队 — heyneighbor · 2026-11-19
- Cognition 联创送 1 万个 Devin Bot:发短信讲点子即可领最多 1 万美元额度 — marvinvonhagen · 2026-11-19
- mitsuhiko 的 agent 半夜自主验证 AirPlay 逆向,凌晨 3 点开满音量放声音吓醒主人 — altryne · 2026-11-19
- mitsuhiko 被 agent 半夜吵醒:为验证 AirDrop 逆向把音量开到最大 — mitsuhiko · 2026-11-19