全双工语音推理成本虚高 56 倍,自研引擎实现单卡 H100 并发 56 路
Ok_boss_labrunz · reddit · 2026-10-02
推理引擎团队 DotWave 发布两篇技术长文,指出全双工语音这类「持续推理」模型的服务成本被现有栈严重高估。
为什么贵:全双工语音模型边听边说、可被打断,每 80ms 必须交出一帧输出,静音期间也要运行(停顿时长用于判断话轮结束)。vLLM/SGLang/TensorRT-LLM 等按「请求」设计的假设全部失效:批次不能等待、过载全员迟到、内存不能中途释放、常规指标掩盖丢帧。NVIDIA 参考栈中 GPU 空转约 75%,两个会话就有 8–15% 音频帧迟到——相当于每路对话独占一张 H100。
怎么修:不换 GPU 不改模型,改运行方式:
- 模型编译成常驻 GPU 的单一程序,CPU 只喂数据收结果;
- 同一 tick 到期的所有会话合成一个批次,权重只读一次;
- 编译期固定调度与内存布局,去掉运行时调度器。
实测(单张 H100 SXM 80GB):56 路并发 vs 参考栈 1 路,每 160ms beat 的 p99 为 147.4–147.5ms,84,000 个会话-beat 零超时,单路对话 GPU 成本降低约 98%。
「Infra」频道最新
- tinygrad 推出 768GB 显存 tinybox:4 张翻新 MI300X 售价 8.9 万美元 — viksit · 2026-11-19
- 纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata — Serious_Scarcity7818 · 2026-11-19
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19