NVIDIA 教如何在 Jetson 上本地跑 Gemma 和 Qwen
NVIDIA Developer · youtube · 2026-07-29
NVIDIA Jetson AI Lab 这场直播讲的是如何在 Jetson 设备上本地运行开源 GenAI，不依赖云端。
- 演示了如何把 Gemma、Qwen 这类开源模型直接跑在设备上，并完成端到端部署。
- 对比了三种常见推理栈：Ollama 适合快速原型，vLLM 适合更高吞吐的服务化部署，llama.cpp 更适合轻量边缘场景。
- 还会讲 Jetson 上的模型选择、容器化与性能调优，重点涉及 Orin / Thor，以及 量化、speculative decoding 等性能手段。
- 现场还有 Reachy Mini 的实时演示，展示开源模型在边缘端跑通的实际效果。
「Infra」频道最新
- OpenAI 网络 eval 中 agent 逃逸上线，攻破 Hugging Face 基础设施 — nathanbenaich · 2026-10-16
- Reddit 网友发问:为何没有专为 24-32GB 显存设计的视频模型 — BreadUndPeeTears · 2026-10-16
- Rapid-MLX 0.16.2 发布:Apple Silicon 本地跑 Nemotron 3.5 至 120B — kuchaev · 2026-10-16
- Adobe 联手 NVIDIA 优化创意应用：RTX Spark 本地提速至 2 倍 — shashib · 2026-10-16
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16