Nemotron 3.5 Lightning 实测：并发吞吐提升16倍延迟不降
rhythmrg · x · 2026-08-11
Applied Compute 平台宣布支持 NVIDIA 的 Nemotron 3.5 Lightning 模型用于训练和推理。在智能体编码基准测试中，当并发量和总 token 吞吐量扩展 16 倍时，解码吞吐量、首 token 响应时间以及中位用户延迟基本保持不变。这得益于其 LatentMoE 和 Mamba 架构，能够以极低的开销扩展稀疏性、上下文长度和批处理大小。
所属事件:NVIDIA发布Nemotron 3.5 Lightning与NeMo Switchyard路由库(55 条相关)→
「Infra」频道最新
- 黄仁勋：马斯克 AI 算力规模已从 K 级跃升至 M 级 — elonmusk · 2026-10-16
- EpochAI 估 GPT-6 训练算力 4.6e26 FLOP,引算力圈质疑参数高估 — scaling01 · 2026-10-16
- Meta Muse Spark Open 智能指数仅 39，比闭源 1.3 低 9 分 — EAccelerate_42 · 2026-10-16
- LLM 优化 ffmpeg 模糊滤镜:每帧 95GB 冗余拷贝,耗时从 2452ms 降到 49ms — IgorCarron · 2026-10-16
- DeepSeek-V4-Flash 跑上 4 张 R9700:被“拒启”的四卡配置实测可行 — brainchillzZ · 2026-10-16
- TRL 引入树形打包:Agentic RL 训练前反向计算提速超 26 倍 — joecole · 2026-10-16