独立开发者开源 VoxWeft:苹果电脑本地实时同传,TTS 首声延迟 124ms
面壁智能 · wechat · 2026-10-16
一位独立开发者基于面壁智能 VoxCPM2(2B 参数多语言 TTS)在 Apple Silicon 上搭建了本地实时同传系统 VoxWeft 并开源:语音识别、翻译、语音合成全部在本地设备完成。
关键数据:VoxCPM2 支持 30 种语言、48kHz 输出、语音克隆,经 MLX 4-bit 量化运行;M3 Ultra 上流式 TTS 预热后首次出声延迟低至 124–168ms,M2 上端到端(提交到翻译语音出声)约 2.5 秒。
DEVLOG 踩坑实录(按「症状→根因→修复→代价」记录,连被证伪的假设也写):
- ASR 桥接层误把 44 字节 WAV 文件头当音频数据解码,混入高振幅噪声,模型鲁棒性掩盖了问题直到代码审查才发现;
- 给 TTS/ASR 加锁导致 async generator 持锁挂起死锁,误诊一天,最终删锁;
- 后台预热与真实请求并发构造两个 MLX 模型实例,非线程安全致进程退出码 -9,asyncio.Lock 跨线程无效,换 threading.Lock 修复;
- VoxCPM2 的 temperature 不是采样温度,缩放的是 flow-matching ODE 初始噪声,t=0.01 会永不停止、80% 静音帧;
- 7 个手写样本差点得出「换 3.3B 模型」的错误结论,28 条真实片段测试发现是配置排序喂错语言;
- 删掉一行看似冗余的 stopFlag 重置代码导致 demo 崩溃;
- 参考实现的 warmuppatches=2 反而引入 470ms 延迟并造成爆音,「很多最佳实践从未被验证」。
项目还附 AGENT-SETUP.md,可让 Agent 照文档一步步启动项目。
「编程与Agent」频道最新
- Supabase 一键给应用装 MCP 服务器:ChatGPT/Claude 可直接调用你的应用 — dshukertjr · 2026-10-23
- Grok Bot 配「专属电脑」:浏览器+终端+云端文件系统直接干完任务 — nima_owji · 2026-10-23
- Neon 推出 TanStack AI 官方 AI Gateway 适配器,一个凭据调用多家模型 — matei_zaharia · 2026-10-23
- Reflection AI 演示 Beam 接入 opencode,自动微调 Gemma-4 准确率提升 66.5% — danielhanchen · 2026-10-23
- Cua 推出 Spaces SDK:让 Hermes 等 Agent 跑在你自己的电脑沙箱里 — Teknium · 2026-10-23
- PHP 爆两个未认证 RCE 漏洞,ProjectDiscovery 推全网免费告警服务 — cyb3rops · 2026-10-23