NVIDIA Nemotron 3.5 Bolt 发布：74B 模型塞进 24GB 显存跑 Agent
lmoroney · x · 2026-10-16
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Bolt，目标是让 74B 参数的视觉语言模型在 24GB 显存里跑 agent。
要点：
- MoE 架构，74B 总参中每次激活 9B，由 120B 的 Nemotron 3.5 Super VL 压缩而来
- 专家权重量化到约 2bit，配合量化感知蒸馏恢复精度；Mamba 层保持 NVFP4，embedding 与输出层 8bit
- 支持文本/图像/视频输入，上下文最长 256K tokens，针对工具调用、浏览和终端任务调优
- 官方报告 Terminal-Bench 2.1 得分 51.0，高于 BF16 的 Qwen3.6-35B-A3B 的 44.4（厂商数字）
- 权重采用 OpenMDW 1.1 许可，vLLM、llama.cpp、Ollama、LM Studio 均已支持
作者还建议教模型压缩的老师把它当案例：让学生列出从 120B 压到 24GB 的每一步并估算各自省了多少。
所属事件:NVIDIA 发布 Nemotron 3.5 Bolt，74B 模型塞进 24GB 显存(2 条相关)→
「Infra」频道最新
- NVIDIA 发布 Qwen3.8 Flash Next FP4 量化版，自称几乎无损 — EAccelerate_42 · 2026-10-16
- Meta Muse Spark Open 智能指数仅 39，比闭源 1.3 低 9 分 — EAccelerate_42 · 2026-10-16
- LLM 优化 ffmpeg 模糊滤镜:每帧 95GB 冗余拷贝,耗时从 2452ms 降到 49ms — IgorCarron · 2026-10-16
- TRL 引入树形打包:Agentic RL 训练前反向计算提速超 26 倍 — joecole · 2026-10-16
- ASM 在 SEMICON West 用「披萨 3D 打印」讲透原子层沉积原理 — BenBajarin · 2026-10-16
- Google Willow 芯片量子纠错降 40 倍，比特币 Q-Day 或提前 — jamestagg · 2026-10-16