Fish Audio S2 分支在苹果芯片上提速到 23 t/s
fogonthebarrow-downs · reddit · 2026-07-23
一位开发者 fork 了 Fish Audio 的 S2，并把它针对 Apple Silicon 做了本地优化，号称在 MPS 上提速非常明显。
- 通过量化和推理引擎改动，吞吐从大约 1.2 tokens/s 提升到 bf16 的 12.4 t/s、int8 的 23 t/s。
- 主要手段包括 KV cache 复用、GQA 展开、MPS 的 int8 kernel、torch compile（inductor-metal），以及 sub-batch streaming。
- 作者的基准是在 M5 Pro 48GB 上跑的，也在找其他 Apple Silicon 机器帮忙复现。
- 这是一条很实用的本地 TTS 推理优化 分享，适合做端侧/Apple 设备部署的人参考。
「多模态」频道最新
- 用语音、屏幕和文本打包成 agent 的 task 提示 — omarsar0 · 2026-07-23
- Replicate Designer MCP 把 Flux 1.1 Pro 接进工具工作流 — modelcontextprotocol · 2026-07-23
- fal 联合红杉举办全球首届生成式视频黑客松 — Jamez_Chi · 2026-07-23
- 先做 3D 预演，再用手机走位生成视频 — Bart_Bialobrzeski · 2026-07-23
- Clean Plate LoRA 样例展示了视频清场工作流 — nazihater3000 · 2026-07-23
- Qwen-image 3.0 已接入 Runware — aziz4ai · 2026-07-23