Mac Studio M5 Ultra 本地运行 320B 模型仅需两万美分之一成本
SumitGup · x · 2026-08-29
实测数据显示，Apple Silicon 的统一内存架构非常适合本地运行大模型。配备 512GB 内存的 Mac Studio M5 Ultra 可完整装载 FP8 格式的 GLM-5.3-Flash (320B) 模型，离线推理速度约 60 tokens/s。而在 PC 端达到同等显存配置需 10 张 RTX 5090，成本超过 2 万美元，且功耗巨大。
「Infra」频道最新
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 传 Nvidia 本周宣布数百亿美元欧洲 AI 投资 — georgemillo · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- 阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型 — VISLab-Amsterdam · 2026-10-15
- vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15
- 26ms 决策模型 s1-llm-auto-router 开源，为请求自动选 LLM — airesearch12 · 2026-10-15