两套GGUF量化仓库与基准
Blahblahblakha · reddit · 2026-07-11
分享了两个 GGUF 量化仓库，并给出可复现的量化与性能数据： - **Hy3（Tencent 295B MoE，21B active）**：提供 Q6_K、Q4_K_M、Q3_K_L、IQ2_M 等多个量化版本，列出各自的体积、Mean KLD、top-token 一致率和生成速度。作者建议 **Q4_K_M** 作为更现实的默认选择；若有约 256GB 显存/内存，可用 **Q6_K** 基本无损。 - **Nemotron-Labs-Audex-30B-A3B（NVIDIA）**：同时提供文本量化和音频量化两条线，包含 text-only GGUF、audio_quants 以及音频侧车组件。文中给出三组语料上的质量指标和吞吐数据，说明量化后速度约为 BF16 的两倍左右。 另外还提醒了几个使用注意事项： - Hy3 在 CUDA decode 上需要 `--split-mode layer`，tensor split 会崩。 - Nemotron-Labs-Audex-30B-A3B 继承了 **NVIDIA OneWay Noncommercial** 许可，不能商用。 - 音频完整链路目前仍需要 sidecar 和 NVIDIA 脚本，暂时没有“一体化”音频 GGUF 运行时。