Mac 本地跑模型:MLX 与 GGUF 该怎么选
Ok_Warning2146 · reddit · 2026-09-13
Reddit 帖讨论 Mac 上两种主流本地模型格式的取舍:GGUF 目前主要由 llama.cpp 的 Metal 后端服务,MLX 则由 mlx(omlx)或 vllm-mlx 服务。楼主询问同量化尺寸下两者速度与性能孰优、是否还有其他引擎、以及是否存在能直接服务 HF safetensors 目录的引擎。
「Infra」频道最新
- Macrocosmos 推出 IOTA:把分散闲置算力聚合成训练能力 — markjeffrey · 2026-09-13
- 开发者上线 Lorivo:一张 GPU 共享服务上百个 LoRA 适配器 — TheOneWhoWil · 2026-09-13
- 日本 neocloud「ai&」宣称 CUDA 护城河已消失,大举部署 Tenstorrent 芯片 — DavidBennett__ · 2026-09-13
- 魔改 vLLM 补丁把 Gemma 4 31B 推理提速至 150 tok/s，超越 SGLang 最佳成绩 — abhijithneil · 2026-09-13
- 「The Hugging Bay」上线:用 BT 种子下载开源模型权重 — csuwildcat · 2026-09-13
- Anthropic 算力承诺高达 5170 亿美元,远超此前披露的 1800 亿 — citrini · 2026-09-13