为 M5 Ultra 512GB 备战:本地跑大模型的下载清单与量化选择
Ok_Warning2146 · reddit · 2026-08-31
用户预订了 M5 Ultra 512GB,已购入 TB5 硬盘盒和 4TB SSD,提前规划本地模型下载清单:GLM-5.3 MLX mixed 4/8bit(427.8GB)、GLM-5.3-Flash(181.9GB)、Qwen3.8-Flash-Next(106.2GB)、DeepSeek-V4-Flash(165GB)、Kimi-K3 q8(451GB)。他向 M3 Ultra 512GB 用户求证这些量化是否是 512GB 内存约束下的最优选择、GLM-5.3 和 Kimi-K3 能跑多大上下文、pp/tg 性能如何,以及 8-bit 量化值不值得跑。
「Infra」频道最新
- 黄仁勋联合资管巨头筹 5000 亿美元,打通 GPU 算力融资链 — RachelVT42 · 2026-08-31
- 开发者对比 Mujoco 与 Isaac:定位与功能差异解析 — KyleMorgenstein · 2026-08-31
- 英伟达豪赌实体 AI,中国成大客户却面临禁令悖论 — pstAsiatech · 2026-08-31
- 华为将推 Kirin 2026 处理器,采用 LogicFolding 架构 — pstAsiatech · 2026-08-31
- 华为上半年营收增 9.55%,R&D 投入占比 25% — pstAsiatech · 2026-08-31
- 解惑:LLM生成每个token都要跑一遍全部参数吗 — MarinatedPickachu · 2026-08-31