1bit量化竟然更快
max_paperclips · x · 2026-07-17
这条帖总结了一个直观但常被忽略的结论：**量化不只是在省显存，也可能让推理更快**。 被转述的实测显示： - 在同一张 **3090** 上，**1-bit** 模型跑到 **67.9 tok/s** - 同模型的 **q4** 版本只有 **40.1 tok/s** - 因此 1-bit 版本约快 **1.69x**，prefill 甚至快 **3.4x** 解释是：本地 GPU 推理经常受 **内存带宽** 限制，而不是纯算力限制。权重位宽越低，每个 token 需要搬运的数据越少，GPU 等待内存的时间也就越短。帖文同时提醒，量化后的核心问题不只是速度，还要看模型是否还能保持原有推理质量。