英伟达发布 Nemotron 3.5 Bolt 74B：2-bit 量化后仅占 24GB 显存
NerdyRodent · x · 2026-10-16
NVIDIA 在 Hugging Face 上发布了 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB 模型。这是一个总参数 74B、激活约 9B 的 MoE 模型，官方提供 2-bit 量化版本，整个模型可以塞进 24GB 显存运行。发布采用标准 chat template，支持多模态输入（图像/视频/文本），作者感叹 "2-bit quantisation ftw"。对想在本地或单卡环境跑大 MoE 模型的开发者来说，这是一个值得关注的高性价比选择。
所属事件:NVIDIA 开源 Nemotron 3.5 Super VL 120B 多模态模型(33 条相关)→
「Infra」频道最新
- PyTorch 原生跑上 AWS Trainium，零代码改动 — PyTorch · 2026-10-16
- 业内爆料：中国实验室算力仅美国 1/10，字节 2-4 倍价扫东南亚算力 — robleclerc · 2026-10-16
- GPU 优化公司 Zymtrace 融资 1220 万美元，招 ML 工程师打造自主调优 Agent — cfregly · 2026-10-16
- 微软称让 AI Agent 提速 4 倍且少用 30% token — luisdans · 2026-10-16
- 分析师提醒:CPO/NPO 落地始于交换机而非 GPU — BenBajarin · 2026-10-16
- Ben Bajarin 发布 Agentic CPU 指南：预测 2030 年服务器 CPU 市场 2210 亿美元 — BenBajarin · 2026-10-16