GLM 5.3 Flash 本地推理极慢，苹果硅芯片尚无优化
CentrifugalMalaise · reddit · 2026-08-30
用户在 M2 Ultra Mac Pro 上测试了 Unsloth 量化版 GLM 5.3 Flash 模型，发现首 token 生成时间长达 3-4 分钟，几乎无法使用。相比之下，同硬件下运行 Qwen3.5 397B 模型可达 23 tps。用户认为目前的推理引擎尚未解决对 GLM 5.3 Flash 的支持问题，正在寻求是否有在 Apple Silicon 上成功流畅运行的案例。
「Infra」频道最新
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 传 Nvidia 本周宣布数百亿美元欧洲 AI 投资 — georgemillo · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- 阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型 — VISLab-Amsterdam · 2026-10-15
- vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15
- 26ms 决策模型 s1-llm-auto-router 开源，为请求自动选 LLM — airesearch12 · 2026-10-15