NVIDIA Nemotron 74B 量化版实测:16GB 显存跑出 169 tok/s
yehyakar · reddit · 2026-10-17
Reddit 用户用 llama.cpp 在 16GB 显存上实测 NVIDIA-Nemotron-3.5-Bolt-74B-A9B(24GB GGUF,IQ2XSS 官方量化),20k 输入、贪心解码的公平对比:
- 已装的 v0.7.0 版本生成速度 168.8 tok/s,加上更聪明的专家缓存淘汰 PR #30637 后 171.5 tok/s,其余构建(上游 master、缓存预填充)都在噪声范围内
- Strata 风格的混合模式(用 CPU 计算缓存未命中)反而掉到 89–98 tok/s:PCIe Gen5 x16 上传缺失专家比 CPU 算得还快,该模式只适合慢 PCIe 的笔记本;专家路由 profiler 本身价值不大,因为 GPU 缓存预热后命中率已达约 82%
- Magnitude 不支持 Bolt,也不支持超显存模型
调参结论:prompt chunk 用 2048 时读取约 1960 tok/s 但生成慢约 10 tok/s,4096 读取 2178 tok/s 但生成降到 142;专家缓存 7.5GB 是安全上限,7.8GB 会在生成中途 OOM;draft 采样保持默认(每步 3 token、置信阈值 0)最优,设 0.3/0.6 分别只有 164/156 tok/s。
「Infra」频道最新
- 昇腾 950 超节点训 DeepSeek V4：2 机架跑 273K tok/s — teortaxesTex · 2026-10-17
- 链上 AI 推理量激增：Venice 日 tokens 破 5000 亿，Bittensor 将扩容矿工 — 0xJeff · 2026-10-17
- 传 Anthropic 向 Blackstone 求融资 承诺回报超 10% — Polymarket · 2026-10-17
- Nvidia/Lumentum DFB 激光器阵列实物曝光，附 Claude 生成渲染图 — jwt0625 · 2026-10-17
- 网友提议用「每瓦每秒 token 数」作为模型能效新指标 — 0xF2 · 2026-10-17
- kohya 宣布 sd-scripts 与 Musubi Tuner 首发支持 RTX Spark 本地 LoRA 训练 — bdsqlsz · 2026-10-17