192GB 内存的 Mac 跑 GLM:用户求助定制 Q3/Q4 GGUF 量化
CentrifugalMalaise · reddit · 2026-09-08
一位用户询问是否可能制作(或已有)针对 192GB 内存的 GLM 5.3 Flash Antirez/DS4 GGUF 量化版本。
- 现有 Antirez 的 Q2 版本占 96.5GB 但有质量损失,且浪费了约 85GB 内存;Q4 版本 191GB 太大,留给系统和 KV cache 的空间不足
- 他注意到其他面向 DS4 范围之外的 Q4 乃至 Q4/Q8 混合 GGUF 和 MLX 版本在 150-180GB 之间,这种大小和质量的版本正合需求,但他希望继续用 DS4
- 向社区求助量化方案
「Infra」频道最新
- vLLM 生态 Speculators v0.8.0 发布：统一 CLI 与 Triton 融合损失核 — vllm_project · 2026-09-08
- 开发者受不了了:买台 Mac mini 让 Codex 全天候接管日常 — _AustinCalvert_ · 2026-09-08
- INT21 用 Agent 集群生成 Qwen3.8 训练器，吞吐超 PyTorch 11.5 倍 — bingxu_ · 2026-09-08
- 16-128 并发用户实测：分类与生成任务对 LLM 压力差异显著 — rseroter · 2026-09-08
- Ciena CEO：若数据中心明天停建，两年内业务也察觉不到 — kevinsxu · 2026-09-08
- MultiVibe:复用多个订阅跑编码 agent,还想去中心化共享算力 — thibautrey · 2026-09-08