实时语音 Agent 模型怎么选:Reddit 汇总专有部署实测,LLM 延迟可从 1 秒降到 0.3 秒

Natural-Chemical1513 · reddit · 2026-10-13

一位语音 Agent 部署从业者汇总了同事们与客户的真实反馈，整理出实时语音场景下各模型在专有端点与 serverless 上的表现（多数在关闭或最小化 thinking 的配置下）：

开源/专有部署

Gemma 4 31B：最常见的生产默认选择，延迟与能力平衡好，部分供应商 TTFT 低于 200ms 甚至 100ms；BF16/FP8 工具调用更稳，部分 FP4 配置有回归。
Qwen3 235B Instruct：以严格遵循指令著称，有一支团队从 GPT-4.1 迁移后，LLM 延迟从 0.8–1.5 秒降到约 0.3–0.5 秒。
GLM 5.2（关 thinking）：质量反馈最好，A/B 测试领先，但专有托管更贵；serverless 上 450ms TTFT 属于理想条件，缓存未命中时可能飙到数秒。
Nemotron 3 Ultra：用小思考预算（如 256 token）平衡能力与响应。
gpt-oss-120b（Groq/Cerebras）：快但需精细提示，共享容量下有节流与 P99 变差问题。
Mercury 2：扩散式 LLM，TTFT 极低且支持可调推理。
Kimi K2.7/K3：因生成速度慢（K2.7 有低两位数 tok/s 报告）和部署成本不适合实时语音。

闭源模型

GPT-4.1 仍是多支团队的工具调用基准；GPT-5.6 Luna 速度与能力口碑好；Gemini 2.5 Flash 在某团队测量中 p90/p99 最稳，3.5 Flash 更聪明但更慢（某团队实测约 1.1 秒语音到语音）。

部署经验：明确测量「用户听到的」第一个可用音频而非 TTFT；要在长对话中测延迟；区分缓存命中与未命中；在生产提示词、量化和工具 schema 下单独测工具调用；对比时注明区域、硬件与并发。最后还有成本问题：夜间几乎无流量的闲置专有实例怎么算。

「编程与Agent」频道最新