2018 年的 Jetson AGX Xavier 跑 Qwen3.8 27B:decode 17 tok/s 的完整折腾记录
cortexist · reddit · 2026-11-14
作者把吃灰四年的 Jetson AGX Xavier(2018 年发布,512 核 Volta,32GB LPDDR4x,136 GB/s 带宽)改造成本地 LLM 机,详细记录了全过程与实测数据。
关键结果(512 token prompt):fork MLC-LLM 并从零写了 Nemotron 后端,Nemotron 3.5 Bolt E4B prefill 峰值 880 tok/s、代码 decode 50 tok/s;Gemma 4 12B 为 215/35 tok/s;Qwen3.8 27B(选用 DavidAU 的 TURBO-Fable-Cold-Fusion checkpoint)prefill 峰值 106 tok/s、1K 时保持 104,配 Qwen3.8 2B draft 时 decode 约 13.4 tok/s。
踩坑与解法:原装电源在持续 35W 负载下会掉电关机,换成 USB-C PD 电源 + 短 OWC USB4 线后稳定运行一周以上。还提到一个未尝试的玩法:两台 dev kit 用 PCIe 4.0 x8 线缆互联(单向约 16 GB/s),按层切分模型加速。购买建议:eBay 上 16GB 模块约 $130 可跑 Gemma 4 12B,32GB 约 $300,注意买带载板版本(否则加 $60)。
「编程与Agent」频道最新
- Val Town 将停用 *.val.run 域名,提供 MCP 工具帮用户做重定向 — threepointone · 2026-11-14
- Transcript Testing:让 AI 时代的软件测试写给人看而非机器 — mgill25 · 2026-11-14
- Scope 推出 Competitors:追踪 AI 代理如何比价并绕过你的产品 — RaphaelDabadie · 2026-11-14
- 开发者开源 IMAP MCP：让 Claude 直接收发任意邮箱 — Ordinary_Ad_404 · 2026-11-14
- Claude Code 2.1.325 版本即将发布 — ClaudeCodeLog · 2026-11-14
- Grok Bot 入会当队友:支持 Meet/Zoom/Teams,可直接接任务 — XFreeze · 2026-11-14