Nemotron 3.5 Bolt E4B 跑上 Jetson Nano:27.7 tok/s,比 llama.cpp 快 1.8 倍
Course_Latter · reddit · 2026-11-05
embedl 团队宣布,NVIDIA 最新的小模型 Nemotron 3.5 Bolt E4B 在 Jetson Nano(Orin Nano Super)上跑到 27.7 tok/s,比 llama.cpp 快 1.8 倍,能在廉价边缘设备上完全本地运行并编写小游戏。他们用自己的 Jetson Nano 在官网提供在线体验,可直接试用模型在该设备上的实际表现。
「Infra」频道最新
- 曝 OpenAI 将承担未来数据中心的全部电力成本 — inductionheads · 2026-11-05
- Dropbox 3.5 亿美元收购 Tigris Data,加码 AI 基础设施 — TechCrunch AI · 2026-11-05
- Baseten 加入 NVIDIA Nemotron 联盟,提供 RL 环境与推理优化 — baseten · 2026-11-05
- PyTorch Lightning 创始人 Will Falcon 宣布卸任 Lightning AI CEO — williamfalcon · 2026-11-05
- Eon 发布 Yukon 无服务器数据引擎:AI 采用瓶颈不在模型而在数据基础设施 — EXM7777 · 2026-11-05
- SK 海力士子公司 Solidigm 拟在纽约建两座 NAND 厂，投资或达千亿美元 — Beth_Kindig · 2026-11-05