M4 Pro 上跑 Qwen3.8 UD-Q4_K_XL,Q4 与 Q5 只差 3GB
TheZachMueller · x · 2026-08-18
开发者分享在 Apple M4 Pro 上加载 Qwen3.8 的 Unsloth Dynamic Q4KXL 量化版本(UD-Q4KXL)进行本地推理,并顺带询问社区:是否有人对比过 Q4 与 Q5 量化版本?两者体积差距大约只有 3GB,值得权衡精度收益与内存占用。
「Infra」频道最新
- Merge 推出企业级模型路由,宣称 AI 成本骤降 75% — shensi · 2026-08-18
- 美银看多英伟达至 350 美元,有人喊高至 1000 美元 — soumitrashukla9 · 2026-08-18
- tinygrad 在 AMD 硬件上实现 2.5 PFLOPS 算力 — AnushElangovan · 2026-08-18
- RDIMM ECC 内存两周内每 128GB 涨价 500 美元 — HankYeomans · 2026-08-18
- 平头哥玄铁 RISC-V 宣布支持 Qwen-3.8,C950 跑出 30 tps — pstAsiatech · 2026-08-18
- Nebius 将在芬兰扩容至 455 MW 算力 — demian_ai · 2026-08-18