Nemotron 3.5 Lightning 实测：并发吞吐提升16倍延迟不降
rhythmrg · x · 2026-08-11
Applied Compute 平台宣布支持 NVIDIA 的 Nemotron 3.5 Lightning 模型用于训练和推理。在智能体编码基准测试中，当并发量和总 token 吞吐量扩展 16 倍时，解码吞吐量、首 token 响应时间以及中位用户延迟基本保持不变。这得益于其 LatentMoE 和 Mamba 架构，能够以极低的开销扩展稀疏性、上下文长度和批处理大小。
所属事件:Nemotron 3.5 Lightning实测主打极速推理(2 条相关)→
「Infra」频道最新
- OpenAI 招电力交易员对冲数据中心能耗成本 — Justgototheeffinmoon · 2026-08-11
- 分析师 Ben Bajarin：当前行业算力严重短缺 — BenBajarin · 2026-08-11
- UnslothAI 确认其加速工具已良好支持苹果 MLX 框架 — danielhanchen · 2026-08-11
- 2台DGX跑DeepSeek-V4:75 tok/s全攻略与11个踩坑 — Striking-Swim6702 · 2026-08-11
- 黄仁勋：单靠芯片出口管制无法遏制全栈 AI 竞争 — Olivier__OG · 2026-08-11
- Unsloth 发布桌面端应用：支持本地训练与运行各类大模型 — danielhanchen · 2026-08-11