vLLM 首发 Day-0 支持 NVIDIA Nemotron 3.5 Lightning
AccBalanced · x · 2026-08-12
NVIDIA 发布了专为常驻智能体设计的开源模型 Nemotron 3.5 Lightning，推理框架 vLLM 随即宣布提供 Day-0 支持。
- 模型架构：采用混合专家架构，总参数量 30B，每次推理仅激活 3B 参数，结合多 token 预测技术降低计算成本。
- 性能表现：与同等规模的开源模型相比，吞吐量提升最高 4 倍，任务完成速度提升 30%。
- 应用场景：专为高频、特定领域的智能体任务优化，擅长代码编写、工具调用和多轮指令跟随，可无缝接入 OpenAI 兼容的 API。
「Infra」频道最新
- 低显存跑 MiniMax H3 烧毁显卡？用户实测翻车警告 — ROBOTTTTT13 · 2026-08-12
- StarCloud 探索太空数据中心：将 AI 硬件送入轨道 — DavidLinthicum · 2026-08-12
- gakonst 为 nanocodex 添加机密计算支持，实现可验证的机密 AI — AccBalanced · 2026-08-12
- 阿里云 CUBE 5.0 模块化设计：100 天建成 AI 数据中心并降本 10% — rohanpaul_ai · 2026-08-12
- CoreWeave 获 26 亿美元信贷,押注英伟达 GPU 长期价值 — OnlineInference · 2026-08-12
- poolside 举办 Laguna 模型加速赛，社区将其推理速度提升 2.6 倍 — gajesh · 2026-08-12