DGX Spark 上 Qwen 3.6 的量化并发推理实验
mervenoyann · x · 2026-07-08
分享在较慢的 DGX Spark 上对 Qwen 3.6 进行的并发推理实验（仅用量化、不用投机解码）。认为 6-bit 是不错的量化精度，且得益于统一内存支持能取得不错效果，并指出人们往往没有充分利用 GPU。
mervenoyann · x · 2026-07-08
分享在较慢的 DGX Spark 上对 Qwen 3.6 进行的并发推理实验（仅用量化、不用投机解码）。认为 6-bit 是不错的量化精度，且得益于统一内存支持能取得不错效果，并指出人们往往没有充分利用 GPU。