Nemotron 3.5 Lightning 上线 Baseten，吞吐量提升 4 倍成本减半

baseten · x · 2026-08-11

推理平台 Baseten 宣布 Day 0 支持 NVIDIA 最新开源的 Nemotron 3.5 Lightning 模型。该模型专为长周期智能体设计，官方称其为同类开源模型中最快的选择。

与同等规模的开源模型相比，Nemotron 3.5 Lightning 在生产测试中展现出显著优势：吞吐量高出 4 倍，成本降低 50%，且输出 token 数量减少了 63.4%。模型采用 30B MoE 架构（激活参数 3B），并支持 100 万 token 的上下文长度。