开源引擎 Tensorfold 让 Mac mini M5 Pro 跑 Qwen3.8-27B 达 40-60 tps
AdRepulsive7837 · reddit · 2026-09-30
一位用户实测开源推理引擎 Tensorfold:在 Mac mini M5 Pro(64GB)上用官方 4bit 量化模型 Qwen3.8-27B-MLX-4bit 配合 z-lab/Qwen3.8-27B-DFlash2 草稿模型,达到 40-60 tok/s,称这是 Mac 生态里首个速度超过 MLX 系(MTPLX)的推理引擎——他此前测试过 omlx、dflash2、mlx、llama-cpp、lm-studio、unsloth 均不敌 MTPLX。作为对比,其 RTX-3090ti 跑 GSQ-RCO-GGUF(MTP IQ3S,12.1GB)为 50-70 tok/s,水平接近,但 3090ti 的 prefill 快约 4 倍。作者因此认真考虑用 Mac mini 替代 3090ti 作为主力推理服务器。
「Infra」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16