M2 Max 上跑通 Nemotron 75B
These_Meaning_3883 · reddit · 2026-07-12
作者把 Nemotron Puzzle 75B 跑在 64GB M2 Max 上，并为 `mlx-lm` 增加了原生 `nemotron_h_puzzle` 支持。 ## 实测结果 在相同提示、5 个随机种子、`temp 1.0 / top_p 0.95` 下，对比 4-bit 与 5-bit expert 量化： - 4-bit experts：checkpoint 42.03 GiB，峰值 49.68 GB，平均 14.27 tok/s，任务通过 24/30 - 5-bit experts：checkpoint 49.88 GiB，峰值 58.12 GB，平均 10.53 tok/s，任务通过 21/30 - 长上下文检索：4-bit 为 4/5，5-bit 为 0/5 ## 关键结论 - 作者怀疑 5-bit 在 64GB 机器上贴着内存上限运行，KV cache 和工作集增长导致性能和稳定性变差 - 在 96GB/128GB 机器上，5-bit 结果可能不同 ## 适配过程中的技术细节 - 为 Nemotron-H 增加了 blockwise config、tensor remapping，并匹配 NVIDIA 的 FP32 norm/router 行为 - 遇到第一层 SSM 输出与参考实现 cosine similarity 只有 0.8832 的问题 - 根因是 NVIDIA 在 BF16 中先算 `softplus(dt + dt_bias)`，再转 FP32；`mlx-lm` 的共享路径是先转 FP32，修正后相似度提升到 0.999998 - BF16 输出头是必须的：131k 词表的 lm_head 若量化到 4-bit 会产生重复垃圾输出