3090 跑 Nemotron Bolt 达 70 tok/s，作者安利 Nvidia 开源模型生态

samajhdar-bano2 · reddit · 2026-11-13

Reddit 用户分享体验：Nemotron 系列是他心目中最好的开源模型。他在 3090 上用原生 llama.cpp + IQ2 量化部署 Bolt 24G，跑出约 70 tok/s；随后在双 R9700 编码工作机上用 Q8 部署并学习 CPU offload 与 MTP drafting，仍有约 50 tok/s。

受此启发，他给被速度困扰的 Qwen3.8-27B 换上腾讯 DSpine 的 MTP drafter（及其 GGUF llama.cpp fork），最终在 Q8KXL + mtp 15 + 512k 上下文池配置下拿到 54 tok/s。他盛赞 Nvidia（Huyan）的做法：不只给模型，还示范了好的技术进步如何迁移到其他好模型上。