Fish Audio S2 分支在苹果芯片上提速到 23 t/s
fogonthebarrow-downs · reddit · 2026-07-23
一位开发者 fork 了 Fish Audio 的 S2，并把它针对 Apple Silicon 做了本地优化，号称在 MPS 上提速非常明显。
- 通过量化和推理引擎改动，吞吐从大约 1.2 tokens/s 提升到 bf16 的 12.4 t/s、int8 的 23 t/s。
- 主要手段包括 KV cache 复用、GQA 展开、MPS 的 int8 kernel、torch compile（inductor-metal），以及 sub-batch streaming。
- 作者的基准是在 M5 Pro 48GB 上跑的，也在找其他 Apple Silicon 机器帮忙复现。
- 这是一条很实用的本地 TTS 推理优化 分享，适合做端侧/Apple 设备部署的人参考。
「多模态」频道最新
- Magnific 预告 10 月 28 日上线新功能：「We're making it move」 — cuenca · 2026-10-27
- Midjourney --sref 实测：美式复古风 Batman 插画三连 — gizakdag · 2026-10-27
- AI视频既非电影也非动画，创作者称它最擅长呈现梦境与潜意识 — Kyrannio · 2026-10-27
- 把儿子 31 年前的童言写成歌再喂给 SUNO：一首「大象饮料」儿童合唱 — NathanpmYoung · 2026-10-27
- RTX 3060 本地产 AI MV 播破 20 万:900 张图留 64 张,3 秒切片防崩脸 — Hwang0500 · 2026-10-27
- Firefly 视频编辑器实测：一句话 Quick Cut 将 32 秒素材剪成 20 秒 — LudovicCreator · 2026-10-26