2台256GB M5 Ultra集群实测：跑双模型胜过集群，GLM q4编码超 DeepSeek API
Viktri1 · reddit · 2026-11-08
作者分享用两台 256GB Mac Studio M5 Ultra 本地跑大模型的现状与踩坑。
- 集群不如双模型：尝试 tensorfold/exos 等集群方案后发现并发差、decode 提升不稳定，跑两个独立模型效果显著更好。
- 当前配置：Qwen Flash q6 做快速前端 + GLM 3.5 Flash q4 做深度推理，作者认为 q4 的 GLM 编码能力甚至优于 DeepSeek 官方 API。
- 内存瓶颈：256GB 跑 GLM 想要 500k+ 上下文不够，只能 260k 上下文、最多 3 个 agent；热缓存设 32GB 会导致内存耗尽、速度骤降 70%。结论是 512GB 版本有实际价值，期待新版降低 KV cache 的内存占用。
「Infra」频道最新
- 马斯克背书太空算力构想：100GW/年或为SpaceX年增万亿美元营收 — elonmusk · 2026-11-08
- 常见 BF16 支持 GPU 的非稀疏 TFLOPs 对比表,维护者称其价值获验证 — TheZachMueller · 2026-11-08
- Starlink 单季新增 160 万用户，全球消费者用户达 1360 万 — XFreeze · 2026-11-08
- 利兹 AI 数据中心争议：用水量仅相当于 5 家洗车店 — danbri · 2026-11-08
- Solidity 编译器 Solar 实测：编译 4.8 秒对比 solc 2 小时，fuzzing 内存省 4.7 倍 — banteg · 2026-11-08
- 美光回购性价比大增：同样的钱一个月内可多注销 52% 股份 — AntDX316 · 2026-11-08