NVIDIA 发布 4GB 精简版 Nemotron 3.5 Bolt，可在 Jetson Orin Nano 8GB 上本地运行

alexcovo_eth · x · 2026-10-24

NVIDIA 在 Jetson AI Lab 2.0 上线 Nemotron 3.5 Bolt E4B 4GB：一个 8B 总参数/4B 有效参数的紧凑对话模型，主打本地助手、多轮工具调用与交互角色场景，64K 上下文，采用 OpenMDW-1.1 许可证，提供 Q4KM GGUF 量化版本，可通过 llama.cpp 在各档 Jetson 设备（从 Orin Nano 8GB 到 AGX Thor 128GB）上运行，并给出 OpenAI 兼容 API 的 serve 与调用命令。发帖人正等待 Reachy mini 机器人到手，考虑为此购置 Jetson Orin Nano 8GB 来跑这个模型——展示了小型机器人搭配端侧小模型的低成本组合。