M4 Pro 48GB Mac 成功跑通 Qwen3.8-Flash-Next GGUF 量化版
JLeonsarmiento · reddit · 2026-09-28
一位用户报告在 M4 Pro 48GB 的 Mac 上,通过 Hugging Face 上的 ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF 量化版本成功本地运行 Qwen3.8-Flash-Next。其使用感受是:同尺寸的 Dense 3.8-27B 反而更快,且因量化程度更低可能效果更好。
「Infra」频道最新
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16