Nemotron 3.5 Bolt 实测:KV 缓存极省,适合小型多用户本地部署

1ncehost · reddit · 2026-10-19

一位本地部署玩家分享了 NVIDIA Nemotron 3.5 Bolt 在 4x MI100(128GB)设备上的实测体验。

关键发现:

结构:解码器为 2-bit 量化,其余敏感部分用 NVFP4;每 5 层线性注意力(Mamba2)配 1 层全注意力(GQA),比例比 Qwen3 更激进
KV 缓存极省:30k 上下文仅占 200MB(Flash Next 500MB、Qwen3 27B 952MB);256k 上下文 1GB 对 3.4GB/8.5GB。作者称新 Nemotron 系列是除 DS v4.1 Flash 外 KV 效率最好的新模型,新 Super 注意力结构相同
智能水平大致与 Qwen3.6 27B 相当,亮点是低幻觉率——倾向多轮自查、跑诊断再动手,速度约为 27B 的两倍
定位:能塞下海量上下文加前缀缓存,单张 5090(32GB NVFP4)或 128GB 小主机是理想硬件,适合小企业多用户场景

作者认为这是款有趣且值得推荐的小模型,并期待 70B 级别新模型回归。

「Infra」频道最新