NVIDIA EdgeWise:端侧小模型+选择性上云，长程 Agent 推理成本降 62%

nvidia · hf · 2026-10-16

NVIDIA 论文提出 EdgeWise，一个端云协作框架：本地部署小语言模型（SLM）作为主要执行者，仅在面对关键步骤时把任务委派给云端 LLM。关键发现是只把 LLM 分配给少量关键步骤即可达到与全 LLM 执行相当的性能。为无需额外推理时模型实现自主委派，作者引入步级 RL 方法联合优化任务求解与委派决策（含细粒度信用分配），并用外部裁判式委派策略系统研究何时委派、共享什么上下文、调用频率等设计选择。实测在 SWE-Rebench 上推理成本最多降 62%，Terminal-Bench 2.1 上降 34%，且性能持平或更优；已在本地工作站实际部署验证。