M4 Pro 上跑 Qwen3.8 UD-Q4_K_XL,Q4 与 Q5 只差 3GB

TheZachMueller · x · 2026-08-18

开发者分享在 Apple M4 Pro 上加载 Qwen3.8 的 Unsloth Dynamic Q4KXL 量化版本(UD-Q4KXL)进行本地推理,并顺带询问社区:是否有人对比过 Q4 与 Q5 量化版本?两者体积差距大约只有 3GB,值得权衡精度收益与内存占用。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →