NVIDIA 开源 Nemotron 3.5 Bolt 74B：2-bit 量化塞进 24GB 跑本地 Agent
jacek2023 · reddit · 2026-10-15
NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B 24GB 视觉语言模型，定位是在 24GB 显存内本地运行日常 Agent 任务。
关键规格：
- 架构：Mamba-2–Transformer 混合 LatentMoE，总参数 74B、激活 9B，配备 C-RADIO v4-H 视觉编码器
- 量化：原生 2-bit（IQ2）量化感知训练，可与其它应用共存于单卡
- 上下文：256K tokens，支持文本/图像/视频输入
- 推理加速：配套 LiLiCorr drafter 投机解码（DFlash，7 token）
- 部署：vLLM 支持 Ampere/Hopper/Blackwell
- 许可：OpenMDW-1.1，可商用
官方宣称在相近显存占用下比主流稠密模型更快、比同规模 MoE 更聪明。
所属事件:NVIDIA 开源 Nemotron 3.5 全家族：120B 多模态 Super VL 与 24GB 可跑的 Bolt(31 条相关)→
「模型」频道最新
- OpenAI 推出 GPT-Live-1.1 语音升级：新增六语种声音、更少卡顿 — OpenAI · 2026-10-16
- LMArena 上线 Muse Spark 新模型，Battle 与 Agent 模式可测 — arena · 2026-10-16
- 多模型同题设计 UI:用 Paseo 编排四套界面方案竞技 — vista8 · 2026-10-16
- Ilya 质疑 Meta 新许可证：年收入超 2000 万美元的推理服务商须与 Meta 另签协议 — ilyasu · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- 大 V 晒 Claude 用量矛盾账:周额度 33%、窗口 45%,却提示 API 额度耗尽 — TheMoonMidas · 2026-10-16