专题 · FULL STORY

Nemotron 3.5 Bolt E4B：4GB 内存跑通的端侧模型

NVIDIA 于 10 月 23 日开源主打 4GB 内存本地运行的小型视觉语言模型 Nemotron 3.5 Bolt E4B，随后快速上架 Ollama 方便本地部署，开发者又将其实测于 Jetson 平台驱动机器人，展示了端侧模型的落地进展。

2026-10-23 ~ 2026-10-25 · 3 集 · 16 条

第 1 集 · NVIDIA 开源 4GB 端侧模型 Nemotron 3.5 Bolt E4B(2026-10-23,11 条)

NVIDIA 于 10 月 23 日在 Hugging Face 发布开源小模型 Nemotron 3.5 Bolt E4B，主打「4GB 内存即可本地运行」的对话智能体。该模型基于 Google Gemma 4 E4B（总参数 8B、有效参数 4B，可在 6GB 内存手机等边缘设备本地运行）做 Nemotron 后训练，保留 Gemma 对话能力的同时强化多轮工具调用、指令遵循、agent 使用与编码能力，并支持视觉，面向本地语音/设备助手、互动角色和机器人等场景，权重、数据和训练配方全部开放。

已确认

  • 模型延续完全开放策略：权重、数据和训练配方均可自由获取与定制；据 alexcovoeth，Jetson 上线版本采用 OpenMDW 许可（帖文截断，条款细节不详）。
  • 官方性能图显示，在代表性基准平均分与首 token 延迟（TTFT）散点图上，Bolt E4B 以 70.2 分、约 320ms TTFT 处于「又快又聪明」区域，超过上一代产品；mervenoyann 转述官方说法称其超过 Gemma-4 与 Qwen3.5 同级模型且首 token 延迟更低，模型内置 DFla（帖文截断，细节不详）。
  • 官方引用 ScaleAILabs 统计称，该模型以 56.03% 登顶 MultiChallenge 榜首，领先 Gemma 4 E4B（官方帖提及后者约 43% 档位）。
  • 据 AIFlowML，NVIDIA 罕见地在评测页放出自家模型落败的对比：Tau2-Bench 上 Bolt 55.1 对 Qwen 3.5 4B 的 75.1，RULER 64K 上 87.0 对 95.1，均落后。
  • 据 alexcovoeth，模型已在 Jetson AI Lab 2.0 上线，可在 Jetson Orin Nano 8GB 上本地运行，支持 64K 上下文，主打本地助手、多轮工具调用与交互角色场景；MaziyarPanahi 转述官方演示称其可在对话同时调用工具完成任务。

为什么重要

  • 在端侧小模型竞争中，NVIDIA 借 Gemma 底座快速推出针对 agent 场景优化的开源模型，以低延迟、低内存占用和完整开源配方（数据+配方而非仅权重）作为差异化卖点，并通过 Jetson 生态落地，直接面向手机与边缘设备的本地智能体应用。同时官方主动公开自身劣势的评测结果，为小模型评测透明度提供了少见的范例。

第 2 集 · NVIDIA Nemotron 3.5 Bolt 上架 Ollama，4GB 内存即可本地运行(2026-10-24,3 条)

Ollama 宣布 NVIDIA 的 Nemotron 3.5 Bolt（E4B）正式上架。这是一款面向本地部署的小型开源视觉语言模型，支持快速本地对话、图像理解与工具调用，可用于本地助手、互动角色等场景，上下文窗口达 128K token，最低 4GB 内存即可运行。

第 3 集 · 4GB 小模型上机器人：Nemotron Bolt E4B 在 Jetson 实测(2026-10-25,2 条)

Laurence Moroney 等开发者实测 NVIDIA Nemotron 3.5 Bolt E4B 驱动机器人：该模型以 Gemma 4 E4B 为底座、经含 RLVR/RL 的 Nemotron 后训练，体积仅约 4GB，可在 Jetson 上运行，并成功实跑于 Reachy Mini 机器人。演示回应了「4GB 模型在机器人上能做什么」的疑问，展示了小模型本地驱动机器人的可行性。