27B 模型在 Jetson 上实测可用
BoogerheadCult · reddit · 2026-07-15
PrismML Bonsai 27B 在 **Jetson Orin Nano 8GB** 上可用，作者给出了一组本地跑分与资源数据： - **上下文长度**：48k - **提示词处理速度**：27 tok/s - **生成速度**：4.31 tok/s - **冷启动加载后内存占用**：约 6.2GB（no-mmap） - **功耗**：大约 25W 作者的结论是：虽然速度不算快，但这套低功耗端侧 AI 配置已经能比较好地处理复杂任务。