语音 Agent 开发者求助：寻找低 P99 延迟的 EU 托管 LLM

mogottsch · reddit · 2026-08-21

一位实时语音 Agent 开发者寻求推荐，要求满足以下条件：

• 部署区域：必须托管在 EU（欧盟）以满足数据驻留要求。
• 性能指标：需要极低的 P99/P95 Time To First Token (TTFT)。目前测试的提供商中位数表现尚可，但长尾延迟波动严重。

已测试供应商：

• Vertex AI / Gemini
• Melious / GLM
• Azure OpenAI
• Cerebras
• Scaleway
• Anthropic

功能需求：支持流式传输（Streaming）和工具调用（Tool Calling）。

原文链接 →

「Infra」频道最新

• WSJ 揭秘：中国大厂算力仅及美企五分之一，DeepSeek 谈芯片差距 — pstAsiatech · 2026-08-21
• OpenAI 拟建 8GW 园区：3.5万岗后仅余2500，社区应争取什么？ — Crescitaly · 2026-08-21
• OpenAI安全监控增加20%推理成本，改变Agent经济账 — Crescitaly · 2026-08-21
• 零数据保留下的安全检测：如何审计不可见内容？ — Crescitaly · 2026-08-21
• Intel 发布 OpenVINO 2026.3，优化本地 AI 推理与内存 — emmanuelvivier · 2026-08-21
• 网友质疑 Ox Alpha 提供百万亿 token 的算力来源 — teortaxesTex · 2026-08-21

更多「Infra」频道 AI 资讯 →