Qwen3.8 模型 pMLX 引擎实测：12GB 显存跑代码
EyalToledano · x · 2026-09-01
Qwen3.8-Flash-Next 即将发布，基于 pMLX 引擎实现 tiered 模型与动态量化。该方案支持 bf16/q8/q4/q3 飞行量化、NVME 流式解码及专家剪枝。实测数据显示：Q3 量化下 12GB 内存最低配置可达 10 tok/s 持续解码；代码编辑任务中，Q4 32k 上下文配置可实现 58 tok/s 持续速度。
所属事件:Qwen3.8-Flash-Next 搭载 pMLX 引擎：小显存跑大模型(3 条相关)→
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18