NVIDIA 教程：在 Jetson 上用 Unsloth 微调模型
danielhanchen · x · 2026-09-01
NVIDIA Jetson AI Lab 发布新教程，演示如何在边缘设备 Jetson 上直接微调和量化 AI 模型。该工作流结合了 Unsloth 和高效的 QLoRA 技术，允许开发者导出 GGUF 文件并通过 llama.cpp 在本地运行。
核心内容与步骤：
- 环境准备：需要在 Jetson 上配置 JetPack 7.2、Python 3.12 及 NVMe 存储（Qwen 需 40GB，Nemotron 需 270GB）。
- 工作流选项：
- 微调模型：使用 QLoRA 适配自有数据。
- 转换格式：将模型转换为 GGUF 格式以便部署。
- 本地推理：直接使用现有的 GGUF 模型进行 GPU 加速推理。
- 实操案例：教程包含在 Jetson Orin Nano 上运行 Qwen3.5-4B，以及在 Jetson AGX Thor 上运行 NVIDIA Nemotron 3.5 Lightning 的具体示例。
「Infra」频道最新
- 中国AI基建热潮推动国产芯片公司利润暴增，MetaX实现盈利 — pstAsiatech · 2026-10-16
- Qdrant 实测 Perplexity 视觉文档嵌入:1-bit 压缩后体积仅 1/21 — jrxna · 2026-10-16
- Agent 何时需要 API 网关：Reddit 热议直连与统一接口的分界线 — TurbulentStiffness · 2026-10-16
- 台湾拟在德州投40亿美元建AI制造园区，服务英伟达与台积电 — Polymarket · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16