50W 功耗 Jetson AGX 64GB 实测 Qwen 系列模型:27B Q4 生成 10.5 token/s

Boognevatz2 · reddit · 2026-10-17

网友翻出两台 64GB 内存的 Nvidia AGX 嵌入式设备，重编译 llama.cpp 以支持 Gyro 格式后实测本地推理。在 50W 功耗下，Qwen3.8-Flash-Next-Gyro 大版本（108GiB，TQ30 量化）预填速度 82 token/s、生成 9.86 token/s；27B 模型 Q8KXL 为 8.3 token/s、Q4KM 为 10.5 token/s（均带 MTP），Qwen3.6-35B-A3B 的 MTP 保留版可达 42 token/s。作者对比 Framework Desktop 128GB 预期速度（约 11-12 token/s），认为手头设备性能接近，5000 美元预算内找不到好一个数量级的方案，纠结是否升级。