离线有声书应用 VoiceShelf 上架:NPU 跑 Kokoro 达 45 倍实时
Simple-Lecture2932 · reddit · 2026-11-23
开发者发布了 VoiceShelf——一款完全离线的 Android 有声书应用,用 Kokoro 模型朗读 EPUB,一次性买断制,对标 ElevenLabs 每年 700+ 美元的订阅。
关键优化与数据(Galaxy Z Fold 7,骁龙 8 Elite):
- 作者为 Vulkan 重写了 kernel,让模型在 Android GPU 上运行;并写了自定义 runtime 绕过 QNN 动态形状不兼容,跑上高通 NPU
- NPU 单独运行:24 倍实时速度,每小时耗电约 7-8%,机身几乎不发热
- CPU+GPU+NPU 混合调度:最高 45 倍实时
- CPU 单独约 5 倍、GPU 约 10 倍
- 旧版为 2.8 倍实时且每小时耗电 20%;新版播放几乎零缓冲
NPU 上模型有轻量量化(芯片限制),其余保持原始 PyTorch Kokoro。下一步计划复刻到 iOS 及 Pixel 等其他 NPU 芯片。
「Infra」频道最新
- 高盛前 CEO:LAI 正改变财报与股价关系,但愿只是幻觉 — firstadopter · 2026-11-23
- Databricks 高官直指推理服务商糟蹋 ZDR 承诺成行业常态 — pwendell · 2026-11-23
- Cerebras CEO:靠架构选择绕开 HBM、CoWoS、台积电 3nm 三大瓶颈 — rohanpaul_ai · 2026-11-23
- 开源引擎 Kapitsa 在 M5 Max 上跑出 960+ tok/s 预填充 — 0zyman23 · 2026-11-23
- 数据中心反让电价下降:阿拉巴马电力拟降费 1.6 亿美元 — binarybits · 2026-11-23
- 24 个定制内核加持,MLX-Serve 成 Mac 跑 Inkling 2 Mini 最快方案 — SumitGup · 2026-11-23