华盛顿大学 Mobile AI Factory:自动为你的手机定制专用小型模型
UW · hf · 2026-11-16
华盛顿大学 Paul G. Allen 学院团队(Evan Li、Krishna Deshpande、Wen Cheng、Shyamnath Gollakota)发布 Mobile AI Factory,一个智能体系统,可针对给定任务和目标手机自动构建微调、量化的专用小语言模型(SLM)。
工作方式:输入任务规格与预算约束(如“每条请求 1 秒内从临床笔记提取疾病和药物”),编排 LLM 自主决定是否调超参、挖掘真实数据或生成合成样本,固定规则负责回滚损害准确率的改动;系统从小到大搜索基座模型与量化方案,并结合对目标手机在真实推理引擎/后端上的实测数据调整准确率目标。
团队在 10 个任务和 4 台 Android 手机(OnePlus 15、Galaxy S23、OnePlus 8 Pro、Redmi 9A)上评估,在未见测试集上,设备端模型可媲美甚至超越更大的模型,且 GPU 时间远少于传统微调流程。SLM 本地运行可保护隐私且无需联网。
「Infra」频道最新
- 曝马来西亚数据中心与华为洽谈,补位 Nvidia 算力缺口 — basedjensen · 2026-11-16
- 爆料称 DeepSeek V5 已预训练:约2T参数MoE,纯华为昇腾无NVIDIA — DeryaTR_ · 2026-11-16
- 微软邮件服务宕机致德国乐园氯气警报延误,15人吸入中毒 — evilsocket · 2026-11-16
- 从濒临破产到万亿市值:苏姿执掌 AMD 十二年翻身记 — bigaiguy · 2026-11-16
- tandem.cpp v0.3.0:长提示处理提速 2-6 倍,支持 DeepSeek-V4.1 — smflx · 2026-11-16
- 开源工具 llmfit 扫描硬件并按质量/速度/适配/上下文为本地模型打分 — thisdudelikesAI · 2026-11-16