Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑
danielhanchen · x · 2026-10-15
Unsloth 为 NVIDIA 新发布的 Nemotron 3.5 系列制作了 UD-3 GGUF 量化版本，并附 KLD 基准数据。
关键信息：
- Nemotron-3.5-Bolt-74B-A9B:量化后可在 24GB 内存运行，同尺寸中性能顶尖，在 RTX Spark 上实测流畅
- Nemotron-3.5-Super-VL-120B-A12B:120B 参数/12B 激活混合推理 MoE,支持最长 1M 上下文，可处理文本/图像/视频，支持 JSON 输出与工具调用；GGUF 从 1-bit 46.1GB(约 64GB 内存)到 8-bit 132GB,4-bit 版 86.9GB(建议 128GB)
- 另提供 NVFP4 量化(79GB,无损直转)及 KLD 基准曲线，展示各量化档位随磁盘占用的 KL 散度变化
「Infra」频道最新
- Physion 发布 NexTron：SFT 吞吐最高超 DeepSpeed 20.9 倍 — du_yilun · 2026-10-16
- Dreamscale 发布物理 AI 云推理：单张 H100 并发跑 8 台机器人 — arnie_hacker · 2026-10-16
- Google 地震预警系统从 98 国扩至近 200 个国家和地区 — sundarpichai · 2026-10-16
- 微软研究院发布 Magnetar:零知识证明快 10-39 倍且仅依赖哈希函数 — Microsoft Research · 2026-10-16
- 迁回 1PB 数据上本地成本惊人，AI 训练促云回迁潮 — DavidLinthicum · 2026-10-15
- FP8+DSpark 叠加优化 Nemotron 3.5 Super VL，H100 上近 2 倍提速 — vllm_project · 2026-10-15