单张 L4 GPU 跑 20 路低延迟马拉雅拉姆语语音 Agent 的完整架构
DistrictUnique5259 · reddit · 2026-10-18
一个团队分享其生产级区域语言(印度马拉雅拉姆语)语音 Agent 技术栈:
- 编排:自托管 Pipecat worker,自行处理打断与状态管理,避开付费 wrapper 平台
- STT:Mai Transcribe 2,对口音与语速快的语音识别准确
- LLM:Sarvam 对话模型,自定义异议处理,必要时回落转人工
- TTS:针对马拉雅拉姆语微调 VoxCPM2,在单张 L4 GPU 上优化出 20 路并发且无延迟尖峰——这是最难的部分
- 后链路:作为 Meta Tech Partner 直连 WhatsApp API,客户在电话中表达意向后,挂断前即收到自动报价消息
作者提到印度本地定价低、利润薄,正在寻找美英或海湾地区的代理合作方,以 50-50 分成拓展海外客户,并欢迎在评论区讨论 Pipecat 配置、L4 优化与 VoxCPM2 微调细节。整套架构同样适用于英语等其他语言。
「编程与Agent」频道最新
- 用 MiniMax H3 + Claude 全自动做 MV:28 镜头 45 次渲染 8 GPU 小时零音画偏差 — Cheap_Credit_3957 · 2026-10-18
- 开发者用 Claude Code + Tailscale 自建跨端开发环境,弃用官方云沙箱 — davidcrawshaw · 2026-10-18
- SOC Prime 推出 LogTotal:先跑检测规则再让 AI 解读日志 — cyb3rops · 2026-10-18
- Thorsten Ball：AI 时代改代码变快，同事写错代码没那么可怕 — sloppenheimer · 2026-10-18
- Every 用主编历史修改记录训练技能，让 Slack Agent 学会「Kate 式」改稿 — every · 2026-10-18
- jedisct1 谈跨语言调用：只需序列化格式加传统 FFI，不必绑定 WASM — jedisct1 · 2026-10-18