自造 UD-IQ4_XS 量化：Qwen3.8-27B 带 MTP 在 16GB 卡跑到 68 tok/s
ZestRocket · reddit · 2026-10-10
作者想在 16GB 的 RTX 4080 上同时跑无审查版 Qwen3.8-27B 和 MTP 多 token 预测，但现成量化要么放不下 MTP 头、要么只有 3-bit，于是仿照 Unsloth 的 per-tensor UD 配方自己量化，发布 12/16/24GB 三个版本，并用对 Q80 的 KLD 距离逐一对比市面量化。
关键结果
- 质量：UD-Q5KXL（24GB）KLD 仅 0.0045，UD-IQ4XS（16GB）为 0.0268，显著优于同体积的 mradermacher i1-IQ4XS（0.0202 是更优，但 16GB 版本 0.0268 vs llmfan46 Q3KM 的 0.0639 提升巨大）。
- 速度：4080 上 15K prompt、32K 上下文，UD-IQ4XS 开 MTP 后代码生成 55 tok/s、散文 50 tok/s，不开只有 29 tok/s。
意外发现
- 2 个 draft token 比 3 个更快（68 vs 56 tok/s），拒绝率更低。
- 40K 和 48K 上下文输出逐 token 相同，48K 慢 22%——纯粹是 VRAM 溢出到共享内存。
- 16GB 卡的边际极敏感：桌面多占 0.7GB VRAM，代码生成从 68 掉到 42 tok/s；开 Chrome 窗口直接降到 0.2 tok/s。Windows 用户要盯任务管理器的「共享 GPU 内存」。
- MTP 头的精度几乎不影响接受率（q6K vs IQ3S 均约 83%）。
仓库含三个 GGUF 文件、命令和全部脚本（配方提取、干跑验证、KLD 测量、固定种子测速）。
「Infra」频道最新
- Modal 开源 Spindle：Tinker 兼容训练服务器，按 GPU 计费不再按 token 付费 — andersonbcdefg · 2026-10-23
- Intel CTO：芯片产能最多翻倍，追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因：双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23
- Ollama CEO 称企业级 AI 正迎来它的 PC 时刻 — ollama · 2026-10-23
- Modal 开源 Spindle：Tinker 兼容自托管训练服务器，按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错 — _ScottCondron · 2026-10-23