有人用 900 美元整机跑出 GLM 5.2 吞吐数据
naunen · reddit · 2026-07-27
一位用户分享了自己本地跑 GLM 5.2 的速度数据，并把重点放在吞吐/成本比上。
- 机器配置是：4× 8880 v4 CPU、1TB 32 通道 DDR3 内存、2× RTX 3060 12GB。
- 模型使用的是 3bit 量化版。
- 他的实测结果是：20k 上下文、摄取速度约 44 tokens/s、生成速度约 8 tokens/s。
- 作者最后直接问：以 900 美元/欧元 的整机成本来看，这个 tps/cost 算不算能打。
「Infra」频道最新
- Laguna 测试 2.75 和 3.25 bpw 量化方案 — QuixiAI · 2026-07-27
- Chutes 靠跨洲租卡训练 20B 模型，每小时成本不到 10 美元 — markjeffrey · 2026-07-27
- llama.cpp 合并了 Minimax M3 的 MSA 支持 — Time_Reaper · 2026-07-27
- Windows 11 上 ComfyUI 跑通 Sage Attention 和 FlashAttention 2 — Left_of_Laniakea · 2026-07-27
- Baseten 为 GLM-5.2 做出峰值 280 tok/s API — iamrobotbear · 2026-07-27
- 马斯克等巨头力挺开源，AI 竞争的终局在基础设施？ — myllmnews · 2026-07-27