NVIDIA Nemotron 3.5 Bolt 74B 将发：2-bit 量化塞进 24GB 显存
CulturalKing5623 · reddit · 2026-10-14
- NVIDIA 将于 10 月 15 日发布 Nemotron Bolt 3.5 74B：74B 总参数、9B 激活参数的 MoE 模型，用 2-bit 量化和量化感知训练压进 24GB 显存。
- 定位是速度与智能的平衡：比多数同显存占位的稠密模型快，又比多数流行 MoE 模型聪明。
- 另有 Nemotron 3.5 Bolt E4B 4GB 版本定于 10 月 23 日发布，面向更小设备。
- 目标场景是本地硬件部署，配图展示 NVIDIA Local AI 在笔记本上运行本地模型的界面。
「Infra」频道最新
- SkyPilot v0.14.0 发布：动态任务组、多用户 Slurm 与 Trainium 支持 — skypilot_org · 2026-10-15
- OpenAI 人事调整:算力 CTO Uday Ruddarraju 接管基础设施业务,Katti 离任 — rohanpaul_ai · 2026-10-14
- 12GB 显存跑 256K 上下文，Qwen 新模型本地部署方案开源 — Present_Resource4022 · 2026-10-14
- CoreWeave 债券全线暴跌，收益率单日飙至 15.1% — SumitGup · 2026-10-14
- 本轮 AI 周期两大根本驱动:洁净室与数据中心面积双扩张 — BenBajarin · 2026-10-14
- inference.net 单日拿下 OpenRouter 约 10% 第三方推理流量 — Ronangmi · 2026-10-14