把 Ming-TTS 移植到 Zig/MLX,M4/M5 上推理提速 18 倍
s_busso · reddit · 2026-10-31
开发者 sbusso 嫌 Ming-TTS 3.0 默认推理速度太慢,把推理移植到 Zig/MLX,在 M4/M5 芯片上实现最高 18 倍提速,开源为 ming-tts-serve。
实测数据(每项任务耗时,越低越快):
- 官方 PyTorch 2.6.0 + MPS:英文 1.841 / 中文 1.907 / 声音克隆 1.951(基准 1x)
- mlx-audio 0.6.3:约 8x
- ming-tts-serve 普通 MLX graph(MINGFUSED=0):约 14x
- ming-tts-serve 融合内核(默认):约 18x(英文 0.104 / 中文 0.106 / 克隆 0.112)
项目地址:github.com/sbusso/ming-tts-serve
「Infra」频道最新
- 两周日志实测:Qwen 27B 量化越狠思考死循环越多,成功率 92%→78% — Old_Ad_6033 · 2026-10-31
- K210 芯片跑 YOLOv2 人脸识别，自研固件冲上 30fps — alexcovo_eth · 2026-10-31
- 「可玩环境」来袭：毫秒级复制整套生产云供 Agent 沙盘推演 — matei_zaharia · 2026-10-31
- Apple 芯片性能过剩：只有本地跑 LLM 和剪 8K 视频的人能感知差距 — vivekhaldar · 2026-10-31
- 推理云 Wafer 日token量冲至 OpenRouter 第三，达 1.9T — ycombinator · 2026-10-31
- 本地跑 Kimi K3.1 要 3 万美元,博主称私有推理值得这个价 — bookwormengr · 2026-10-31