Qwen3.8 27B 视觉模型 MLX 量化评测:低比特仍能打

Top-Eye-8104 · reddit · 2026-08-26

团队发布了 Qwen 3.8 27B Vision 模型的多种 MLX 量化版本(从 8bit 到 3.23bpw),并与其他社区版本(如 lm-studio, mlx-community)进行了对比评测。通过在 H200 上使用自建测试集,发现其 11.8 GB 的 DWQ 量化版本在 Top-1 一致性上达到 70.32%,远超同体量的其他版本。该版本可在 16GB MacBook 上运行(需调整 wired limit)。量化方法采用了 BF16 教师模型蒸馏。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →