Apple Silicon推理优化现状：vllm-metal最接近完整栈，mlx-lm仍缺关键优化
McFlurriez · reddit · 2026-08-16
作者花费两周时间调研Apple Silicon上的推理优化，发现软件栈混乱，缺乏像CUDA/NVIDIA那样集成的优化。主要问题包括：Qwen新模型混合KV/循环状态使前缀缓存和投机解码难以结合；mlx-lm转换时丢弃MTP头，导致内置投机解码失效。目前vllm-metal最接近完整优化栈，建议停止重复造轮子，将组件上游到mlx-lm和vllm。
「Infra」频道最新
- 给预训练 Transformer 换上 Titan 模块：推理提速且性能损失有限 — behrouz_ali · 2026-10-16
- NVIDIA Nemotron 3.5 Bolt 74B-A9B 登陆 Ollama，2-bit 量化塞进 24GB 本地跑 — ollama · 2026-10-16
- 商务部向 GlobalFoundries 重新分配 9.55 亿美元芯片补贴，押注硅光子 — pstAsiatech · 2026-10-16
- 马斯克放话要超10GW算力,英伟达把SpaceX列为云客户联合设计太空服务器 — elonmusk · 2026-10-16
- 黄仁勋：马斯克 AI 算力规模已从 K 级跃升至 M 级 — elonmusk · 2026-10-16
- EpochAI 估 GPT-6 训练算力 4.6e26 FLOP,引算力圈质疑参数高估 — scaling01 · 2026-10-16