同规格云主机速度差近一倍：语音识别服务排查 CPU 代际陷阱
shauntrennery · x · 2026-11-13
南非广播转写服务 locl 的技术复盘：他们用 NVIDIA Parakeet 模型（int8、onnxruntime、单线程）转写 6 个电台，每 30 秒一个音频窗口。同一台 Fly performance-1x 机器本应 4 秒左右解码一个窗口，但原机要 7.5-7.8 秒，克隆出的同规格机器却只要 4.1-4.4 秒。
排查发现的关键点：
- 同一型号、同一镜像的机器可能差近一倍——根因是 AMD EPYC 覆盖多代 CPU，云平台不会在面板上区分
- 速度决定生死：4 个电台每分钟 8 个窗口，4.2 秒/窗口只占单核 56%，8 秒则达 107%，机器会持续积压
- 落地解决方案：任何新语音识别机器接流量前，先解码 3 个真实窗口，超过约 6 秒直接销毁
这是一篇典型的单核推理服务性能工程实录，对依赖云主机做推理部署的开发者有直接参考价值。
「Infra」频道最新
- Linus Ekenstam：中国能源结构优势将碾压全球 AI 竞争 — LinusEkenstam · 2026-11-13
- Nscale 承认 320 亿美元 Anthropic 算力项目未获绑定融资承诺 — GaryMarcus · 2026-11-13
- 路透：中国 32 亿美元 AI 数据中心项目围绕受限 Nvidia 芯片建设 — robleclerc · 2026-11-13
- 黄仁勋自曝面临晶圆与存储「雪崩式」过剩，GPU/内存危机细节曝光 — oscarfr · 2026-11-13
- SEO算账：Google 用 Gemini 服务 10 亿次 AI Mode 查询成本仅约 400 万美元 — gaganghotra_ · 2026-11-13
- 黄仁勋辞职后韩国召开紧急会议：核查 26 万块 GPU 供应计划 — JungWooHa2 · 2026-11-13