PrismaQuant 与 Blackwell 实测
Kulidc · reddit · 2026-07-11
这是一篇关于 **PrismaQuant** 的实测分享：作者在 **RTX Pro 4500 + Oculink**、Beelink SER 8 和 AooStar eg01 的环境里，测试了 PrismaQuant、INT4 Autoround 以及 NVFP4 W4A4 量化模型。 ### 背景 - 作者原先跑的 `Qwen3.6-27B-Text-NVFP4-MTP` 在 Opencode 和 Cline 里会出现 tool call 错误、思考循环等问题。 - 换了多个 vLLM 版本和 chat template 后，问题仍会在连续使用一段时间后复现。 ### PrismaQuant 是什么 - 作者在 Nvidia DGX Spark 论坛看到一种新的量化方法 **PrismaQuant**。 - 它会为每一层线性层选择最合适的格式，以在固定 bit 数下尽量保住模型能力。 - 目前只在 **Blackwell 架构**（50 系显卡、RTX Pro 系列）上的 vLLM 可用，GGUF 目前基本不支持。 ### 作者列出的模型 - `rdtand/Qwen3.6-27B-PrismaSCOUT-Blackwell-NVFP4-BF16-vllm`：约 5.31 bit，约 20GB - `rdtand/Qwen3.6-27B-PrismaAURA-5.5bit-vllm`：约 5.5 bit，约 23GB - `rdtand/Qwen3.6-27B-PrismaQuant-Heretic-5.25bit-vllm`：约 5.249 bit，未实际测试 ### 部署信息 帖子还给出了两个 vLLM 0.24 的 Docker 启动示例，包含： - `--quantization compressed-tensors` - `--kv-cache-dtype fp8` - `--enable-chunked-prefill` - `--enable-auto-tool-choice` - `--attention-backend flashinfer` - `--enable-prefix-caching` - `--speculative-config` 等参数 整体结论是：作者在 Blackwell 上尝试 PrismaQuant，认为它是值得关注的新量化方向，但生态仍处在很早期。