16GB 显存实测 21 个 Qwen3.8-27B 量化版，bartowski IQ4_XS 夺冠
Storterald · reddit · 2026-09-05
Reddit 用户在 RTX 5080(16GB)上，用自己的 C 代码对 21 个 Qwen3.8-27B 的量化变体做了实测对比，按 Mean KLD(与原模型的输出分布差异)排序。
关键结论：
- 综合最佳:bartowski/Qwen3.8-27B-IQ4XS(Mean KLD 0.056,14.5GiB,能塞进 16GB 显存)
- 最佳无审查版:huihui-ai/Huihui-Qwen3.8-27B-abliterated-UD-IQ4XS(KLD 0.083)
- 追求更小体积可选 jpetrina 的 IQ4XS-pure 或 unsloth 的 UD-Q3KXL(KLD 约 0.14,12GiB 出头)
- 放不进显存的 unsloth UD-Q4KXL(KLD 0.028,16.4GiB)是质量天花板
- 2-bit 档(sdkyuan QAT Q20、ISTA-DASLab GSQ-RCO IQ2 系列)损失明显，属于「能用但难顶」
整体趋势：4-bit 量化几乎无损，3-bit 已相当可用，2-bit 则明显掉档。
「Infra」频道最新
- SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s — ying11231 · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Chris Lattner 登台 PyTorchCon：用 MAX 和 Mojo 跨厂商扩展 PyTorch — PyTorch · 2026-10-21
- General Compute 宣布与 Positron AI 集群级合作，2027Q1 上线 — eptwts · 2026-10-21
- MemTensor 推出记忆原生架构 MemT-1.0：推理提速 1.86 倍，128K 存储省 66 倍 — _akhaliq · 2026-10-21
- LithosAI 承包 Artificial Analysis 12 项第一：GLM 5.3 Flash 跑出 1543 tok/s — JiaZhihao · 2026-10-21