三值量化把 VoxCPM2 压缩 5.3 倍,827MB 模型笔记本 CPU 实时跑

oguzeldereli · reddit · 2026-11-18

开发者 oguzeldereli 将 2B 的开源语音模型 VoxCPM2 从 bf16(约 4.96GB)转换为三值 1.58-bit 量化(ttf),语言模型部分权重仅取 -1/0/+1,扩散 Transformer 保留 Q8,整体体积降到 827MB + 100MB VAE,缩小 5.3 倍,并用自研 C++ 运行时实现无 Python 部署。

质量几乎不掉:

速度:RTX 4070 Ti SUPER 上 RTF 0.16,笔记本 i9-14900HX 纯 CPU 也能实时运行(RTF ≈1),无 AVX-VNNI 的老 CPU 上 RTF 2.5。

模型(Apache-2.0)、C++ 运行时与转换代码均已开源,作者此前用同一 TTF 方法压缩 LLM,这次是应网友要求在 TTS 上的复现验证。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →