Nemotron 3.5 Bolt E4B 优化后跑上 Jetson Nano,速度提升 1.8 倍

Embedl 团队将 NVIDIA 最新小模型 Nemotron 3.5 Bolt E4B 部署到售价约 399 美元的 Jetson Orin Nano Super(8GB)上,经过优化后生成速度达到每秒 27.7 个 token,相比 llama.cpp 快 1.8 倍,显著提升了小型设备本地运行大模型的可行性。

2026-11-05 ~ 2026-11-06 · 2 条相关

• Nemotron 3.5 Bolt E4B 跑上 Jetson Nano:27.7 tok/s,比 llama.cpp 快 1.8 倍 — Course_Latter · 2026-11-05
• Nemotron 3.5 Bolt E4B 在 Jetson 上跑到 27.7 tok/s,快 1.8 倍 — Any_Frame9721 · 2026-11-06