Mac mini M6 32GB 实测:Qwen3 27B 本地推理 22-50 t/s
Striking_Luck_886 · reddit · 2026-10-14
Reddit 用户晒出 Mac mini M6 32GB 首日实测,对比 incoai 的 Splash 与 trymirari 的 Uzu 两个本地推理方案,结果相当接近,作者最终选择开箱支持无审查模型的 Splash。配图基准显示:Mirai Qwen3.8-27B-M 关闭推理模式下,散文生成 21.9 t/s、Python 代码 41.0 t/s、重复 JSON 高达 50.2 t/s,6241-token 长提示首 token 延迟 16.81 秒。结论:实际速度约 22-50 t/s,投机解码对代码和 JSON 的加速远高于散文。
「Infra」频道最新
- Runner 实现直接在量化 GGUF 上训 LoRA,免 PyTorch 免 FP16 底模 — ZenZombie117 · 2026-10-14
- 观点：AI竞赛属于能把足够算力上线的人，Meta已靠堆算力追上 — haider1 · 2026-10-14
- GPU 自有化拐点：利用率超 33% 即跑赢混合云，66% 压过 neocloud — AccBalanced · 2026-10-14
- Koboldcpp v1.123 发布，新增 Qwen Image 2.1 支持 — Fcking_Chuck · 2026-10-14
- 推理生意火爆但黑箱:H100 每小时报价 $2.2 到 $8,利用率与毛利无人知晓 — AccBalanced · 2026-10-14
- Hugging Face 推出 Kernel Hub,让计算内核像模型一样分发 — ariG23498 · 2026-10-14