Qwen3.8-27B 词表剪枝版:16GB 卡 75K 上下文 60 tok/s

fakezeta · reddit · 2026-11-15

作者把 Unsloth 的 Qwen3.8-27B Q3KXL 用 bsaleh03 的 ASCII-Condensed 工具剪枝(只保留 ASCII + Latin-1/Latin-Extended-A),制作了 GGUF 和 ninfer 版本并上传 HF,还改了 iamwavecut 的转换脚本以适配不同词表大小并向上游提了 PR。质量上 IFEval 84.4% vs 原版 83.9%,在误差范围内;在 5060Ti 16GB 上用 rk8v4 KV 类型实现 75K 上下文、541 条 IFEval 样本平均约 60 tok/s。计划再结合 Unsloth 单独发布的低量化 MTP 再省约 90MB 内存。