Qwen3.8-27B EXL3 量化 KLD 仅 0.0002,18.8GB 显存超 Q8 精度
suprjami · reddit · 2026-10-29
Reddit 用户发现 yeasah 发布的 Qwen3.8-27B EXL3 量化版本(6bpw)取得了极低的 KLD mean 0.0002,且权重仅需 18.8 GiB 显存。
横向对比：Unsloth 的 Q8KXL KLD 为 0.0005(31.5GB)、Minachist 的 INT8 AutoRound 为 0.00056(36.9GB)、turboderp 的 6bpw SC 为 0.0006(23GB)。也就是说 yeasah 的量化在更小的文件体积下精度反而最高。
「Infra」频道最新
- 单张 RTX 5080 跑 Qwen3.8 Flash Next：IQ3_S 量化峰值 275 tok/s — yehyakar · 2026-10-29
- 谷歌云 CEO：苹果在最新 TPU 上扩展基础模型预训练 — shayan_ · 2026-10-29
- 一张图看懂 FlashAttention:瓶颈不是计算而是搬运数据 — cneuralnetwork · 2026-10-29
- Particle-1 推理服务上线 OpenRouter,输出 token 省 28-52% — ycombinator · 2026-10-29
- MLX-Serve 全面重写:插件架构支持任意模型与量化格式免重编译接入 — TheMoonMidas · 2026-10-29
- 西班牙高铁相撞事故,Movistar 与 Orange 启用星链恢复灾区通信 — elonmusk · 2026-10-29