M2 Max 上跑通 Nemotron 75B
These_Meaning_3883 · reddit · 2026-07-12
作者把 Nemotron Puzzle 75B 跑在 64GB M2 Max 上，并为 mlx-lm 增加了原生 nemotronhpuzzle 支持。
实测结果
在相同提示、5 个随机种子、temp 1.0 / topp 0.95 下，对比 4-bit 与 5-bit expert 量化：
- 4-bit experts：checkpoint 42.03 GiB，峰值 49.68 GB，平均 14.27 tok/s，任务通过 24/30
- 5-bit experts：checkpoint 49.88 GiB，峰值 58.12 GB，平均 10.53 tok/s，任务通过 21/30
- 长上下文检索：4-bit 为 4/5，5-bit 为 0/5
关键结论
- 作者怀疑 5-bit 在 64GB 机器上贴着内存上限运行，KV cache 和工作集增长导致性能和稳定性变差
- 在 96GB/128GB 机器上，5-bit 结果可能不同
适配过程中的技术细节
- 为 Nemotron-H 增加了 blockwise config、tensor remapping，并匹配 NVIDIA 的 FP32 norm/router 行为
- 遇到第一层 SSM 输出与参考实现 cosine similarity 只有 0.8832 的问题
- 根因是 NVIDIA 在 BF16 中先算 softplus(dt + dtbias)，再转 FP32；mlx-lm 的共享路径是先转 FP32，修正后相似度提升到 0.999998
- BF16 输出头是必须的：131k 词表的 lmhead 若量化到 4-bit 会产生重复垃圾输出
「Infra」频道最新
- 大厂全做 AI 沙箱,Modal 与 Daytona 靠盒外一层仍居增速榜前列 — FinanceYF5 · 2026-10-26
- Ant 招股书印证「算力是可互换商品」论:单一池动态调度 — BenBajarin · 2026-10-26
- SLC NAND 每 1% 份额增长需多 2% 晶圆产能,闪存或复刻 HBM 行情 — toptickcrypto · 2026-10-26
- NVIDIA Vera Rubin 训 10T 模型只需 1.6 万卡，较 GB200 省 75% GPU — teortaxesTex · 2026-10-26
- Anthropic S-1 自曝：曾多次严重低估算力需求，导致产能受限拖累产品 — JosephJacks_ · 2026-10-26
- Anthropic 算力协议规模暴涨至最高 1205 亿美元 — teortaxesTex · 2026-10-26