高通演示端侧小模型分流:每请求 8.6ms 决定本地还是上云

carrycooldude · x · 2026-11-17

高通开发者账号转发 Lucas da Silva 的实验:用开源小模型 Laya 作为「决策模型」抢先看每个 AI 请求,运行在骁龙 X Elite 的 NPU 上(未量化、未重训),能识别隐私数据、对请求分流,并决定任务留在本地还是交给云端大模型。

实测每次决策 8.6ms(CPU 为 36ms),能耗降低 20 倍以上。这一「小模型先分流、大模型后处理」的模式为低延迟、低能耗的本地优先 AI 工作流提供了可行路径。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →