华盛顿大学 Mobile AI Factory:自动为你的手机定制专用小型模型

UW · hf · 2026-11-16

华盛顿大学 Paul G. Allen 学院团队(Evan Li、Krishna Deshpande、Wen Cheng、Shyamnath Gollakota)发布 Mobile AI Factory,一个智能体系统,可针对给定任务和目标手机自动构建微调、量化的专用小语言模型(SLM)。

工作方式:输入任务规格与预算约束(如“每条请求 1 秒内从临床笔记提取疾病和药物”),编排 LLM 自主决定是否调超参、挖掘真实数据或生成合成样本,固定规则负责回滚损害准确率的改动;系统从小到大搜索基座模型与量化方案,并结合对目标手机在真实推理引擎/后端上的实测数据调整准确率目标。

团队在 10 个任务和 4 台 Android 手机(OnePlus 15、Galaxy S23、OnePlus 8 Pro、Redmi 9A)上评估,在未见测试集上,设备端模型可媲美甚至超越更大的模型,且 GPU 时间远少于传统微调流程。SLM 本地运行可保护隐私且无需联网。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →