单台 DGX Spark 跑 Nemotron 3.5 Bolt,16 路并发推理演示
NVIDIAAI · x · 2026-10-16
MiaAIlab 演示在单台 DGX Spark 上以 16 路并发流运行 Nemotron 3.5 Bolt,使用 TensorFold 技术,NVIDIA AI 账号转发。作者称完整 recipe 稍后公布。
「Infra」频道最新
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16
- Vercel Sandbox Drives 正式上线:亚秒挂载 TB 级数据 — cramforce · 2026-10-16
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16