语音助手把后端迁到欧洲后,工具调用立刻变快
ur_piyo_a_hoe · reddit · 2026-07-23
一位开发者把语音助手的工具调用延迟几乎彻底修好,没有改代码,只是在部署上做了调整。
- 这个助手本身的 TTS/STT 并不慢,真正拖慢体验的是每次对话里的一串工具调用。
- 他先尝试了调系统提示词、缩短 prompt、延长超时、优化 API,效果都很有限。
- 最后发现瓶颈在地域分布:后端在亚洲、数据库在欧洲、电话服务商也在欧洲,AI 服务同样经欧洲转发。
- 把后端直接迁到欧洲后,工具调用明显加速,卡顿几乎消失。
这条帖子的价值在于提醒做语音/Agent 的人:延迟不只来自模型推理,也常常来自服务部署位置和网络跳数。
「编程与Agent」频道最新
- 开源 switchloom 要给编程 agent 做模型路由 — kevinkern · 2026-07-23
- LLM 把传统安全测试流程搅成了生产事故 — rez0__ · 2026-07-23
- 用户让 Claude 代配 Unreal Engine MCP,自去吃冰淇淋 — stspanho · 2026-07-23
- Switchloom 开源:给编码智能体做确定性模型路由 — kevinkern · 2026-07-23
- 一套个人 AI 家庭架构:Tailscale、Termius 和常开 Mac — daniel_mac8 · 2026-07-23
- Claude Code 一次性把 Corsair 键盘变成 Agent 控制台 — SimonBalmain · 2026-07-23