Mac 端 Qwen 3.8 27B 提速实测：改用 Dflash2 后达 113 TPS
TheMoonMidas · x · 2026-08-25
开发者 @TheDavidTai 报告了在 Mac 上优化 Qwen 3.8 27B 模型推理速度的成果。通过将原有的 MTP 配置切换为 adaptive Dflash2，并移植 mlx.fast 的改进，模型在 1024 token 的 Python 提示词下达到了 113 TPS 的速度。基准测试覆盖 1k 到 128k 的上下文范围，整体比之前最快配置平均提速约 20%(10% 来自 mlx.fast，另 10% 来自 Dflash2)。作者指出 Dflash2 在多数情况下优于 MTP，但在长思维链(Long CoT)场景下可能例外。
「Infra」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15