Orin Nano 首 token 5.8 秒优化实战：短提示词+缓存工具 schema

AIFlow_ML · x · 2026-10-24

针对在 NVIDIA Jetson Orin Nano 上部署模型首 token 延迟 5.8 秒的问题，作者给出三个初步修复手段：精简 system prompt、缓存工具 schema、以及将 token 流直接喂给 TTS。作为参照，NVIDIA 官方在同样 3000 token 提示下 AGX Orin 的成绩是 3.7 秒。

作者还称赞 NVIDIA 公开了自家模型落败的评测表：Tau2-Bench 55.1 对 Qwen 3.5 4B 的 75.1，RULER 64K 87.0 对 95.1；不过 NVIDIA 模型在"何时调用工具"上胜出（63.4 vs 37.8），定位更像前端而非规划器。