Nemotron 3.5 Bolt E4B 在 Jetson 上跑到 27.7 tok/s,快 1.8 倍
Any_Frame9721 · reddit · 2026-11-06
Embedl 团队把 NVIDIA 最新的 Nemotron 3.5 Bolt E4B 在 Jetson Orin Nano Super(8GB,约 $399)上优化到 27.7 tok/s,而官方用 llama.cpp 的基线只有 15 tok/s,提速 1.8 倍。
要点：
- 使用其自研 TensorRT Edge LLM 变体，支持 int4 量化，以 TensorRT 引擎方式本地运行
- 模型完全跑在廉价边缘设备上，已能现场写小游戏代码
- 官网提供在线试玩(直接在其 Jetson 设备农场推理)，也可下载引擎本地部署
对端侧 LLM 部署感兴趣的可以直接在 embedl.com 上体验该模型在此硬件上的真实速度。
所属事件:Nemotron 3.5 Bolt E4B 优化后跑上 Jetson Nano,速度提升 1.8 倍(2 条相关)→
「具身」频道最新
- GPT-6.1 Sol 做 3 台小鼠脑部手术后,定位速度近乎翻倍 — 141_1337 · 2026-11-06
- 沃尔玛联手 Zipline 新增 300 个无人机配送点，最快 30 分钟送达 — Polymarket · 2026-11-06
- Nvidia 押注的 Agility Robotics 登陆纳斯达克，成美国首家上市人形机器人公司 — Polymarket · 2026-11-06
- 2026 AI 硬件市场全景图：139 家公司、14 个层级，估值之王在腕上 — FinanceYF5 · 2026-11-06
- 前 Luma 工程师复盘：让 Gaussian Splatting 跑在手机上 — gkopanas · 2026-11-06
- RL 后训练让通用机器人策略在未见任务上也能持续改进 — arkrause · 2026-11-06