单卡 RTX PRO 6000 跑 Nemotron 3.5 Super 实现 300 万 token 池
TechNerd10191 · reddit · 2026-10-21
Reddit 用户分享在单张 RTX PRO 6000 上用 SGLang 部署 NVIDIA Nemotron 3.5 Super VL 120B-A12B(NVFP4 量化)的实测:轻松实现 300 万 token KV 池,支持 4 个并发请求、每个约 75 万 token。
与 Qwen3.8-Flash-Next 对比:
- 基准成绩虽落后,但不占用任何系统内存(无 50GB 查找表)
- 生成速度略快(150-250 tps vs 130-230 tps)
- 关键优势是 KV 池容量:Qwen3.8 FN 仅支持约 45 万 token 池
- Nemotron 原生支持 1M 上下文
帖内给出完整 SGLang 启动参数,要点包括:kv-cache-dtype fp8e4m3、mem-fraction-static 0.95、context-length 786432、EAGLE 投机解码(5 步、6 draft tokens)、flashinfer 全套后端、mamba 缓存策略等;并提醒 prefill 阶段的 CUDA graphs 不可用(仅 decode 可用)。
「Infra」频道最新
- 路透：字节阿里腾讯下单超300万块英伟达RTX PRO 5500，总价超350亿美元 — SumitGup · 2026-10-21
- TorchTPU 实测演示：vLLM 与 SGLang 统一后端跑 TPU 服务 — Rob_Mulla · 2026-10-21
- Google 联合 Red Hat 发布 llm-d 1.0，K8s 原生分布式推理栈 — rseroter · 2026-10-21
- acs infra 上线免费 base model API，开放 Llama 3.1 8B/405B 供研究者使用 — amplifiedamp · 2026-10-21
- 开发者用 incus 容器给每个 Agent 独立工作区，解决 Mac 负载瓶颈 — kevinkern · 2026-10-21
- 黄仁勋指引明年营收增70%仍供不应求,一人唱衰韩云IPO难改算力荒 — firstadopter · 2026-10-21