Mobile AI Factory: Building Specialized Language Models for Your Mobile Device
Evan Li, Krishna Deshpande, Wen Cheng, Shyamnath Gollakota
cs.CL
2026-11-10
按任务和手机自动微调并量化小模型,未见集五项超过五样本前沿,最多高0.34,GPU时间约为全训的1/19。
端侧小模型能把数据留在手机上,断网也能答。llama.cpp 和 MNN 已经跑得动量化模型。缺的是对上具体任务、又落进这台手机延迟、内存和电量预算的那一个。
一个大型 App 要覆盖一万多种手机和平板,开源基座大约每周多两个,换一台机器配置就可能失效。llama.cpp 用 GPU 做 prefill(先把提示算完)在 OnePlus 15 上比 CPU 快 5.4 倍,在 OnePlus 8 Pro 上慢 7.4 倍。Qwen3-4B 的 8-bit 在前者每秒解码 12.6 到 13.8 个 token,在后者只剩 0.7 到 4.8。
Mobile AI Factory 来自华盛顿大学。输入任务说明和目标手机,它输出按该机实测筛过的微调量化小模型。
每台手机先测一遍:基座、bit 数、引擎和后端(CPU 或 GPU)的 prefill 速度、decode 速度(逐个吐出 token)、峰值内存和能耗。档案与任务无关,测一次给后面所有任务用。超预算或当场崩溃的配置剔掉,每个剩下的变体只留解码最快的引擎和后端。
候选共 27 个:9 个基座从 135M 到 4B,家族是 SmolLM2、Gemma 3、Qwen3、Qwen3.5,各有 4、8、16 bit。按文件大小分五档,界线在 300 MB、750 MB、1.5 GB、2.5 GB。2B 的 4-bit 和 0.6B 的 16-bit 体积接近,放进同一档。搜索从最小档开始。连续 15 次评估涨幅不超过 0.02,或本档评满 30 次还没达标,就带上已有数据升档。升档由规则决定,编排模型不能直接挑最大的。
每一轮由 Claude Sonnet 5 提一个改动:调 LoRA 秩(只训练插入的低秩矩阵)、学习率、权重衰减和训练轮数,或者继续挖任务自带数据,或者让本地教师 Qwen3.6-35B-A3B 按失败类型写 25 到 600 条合成样本。分数一旦下降就回滚,训练每次从基座重来,因此能回到当时的最好状态。嵌套意图解析的 104 次干预里,88% 变差并被撤回。
目标准确率取教师的五样本得分,下限 0.80,上限 0.99。若很快达标,编排模型可以把目标再抬高至少 0.005。打分用的是量化后、目标引擎会加载的文件。同称 4-bit 时,MNN 默认导出让微调后的 SmolLM2-360M 从 0.767 掉到 0.659,所以 MNN 改用 32 个权重一块的 HQQ。留出集最多 1000 条,训练碰不到,并用四道精确匹配挡住泄漏。
十个任务,四台手机(OnePlus 15、Galaxy S23、OnePlus 8 Pro、红米 9A)。默认目标下,相对 Claude Sonnet 5 和 DeepSeek v4 Flash 中更强的一边(零样本与五样本取高,推理关闭),留出集上赢了七项,幅度 0.037 到 0.357。
| 任务 | 工厂 | 五样本对照 |
| BC5CDR span F1 | 0.830(Qwen3.5-0.8B 4-bit,517 MB) | Claude 0.606 / DeepSeek 0.508 |
| 日历抽成 JSON | 0.811(同一 517 MB 模型) | Claude 0.634 / DeepSeek 0.669 |
| CLINC150,目标钉在 0.99 | 0.937(Qwen3-4B 8-bit) | Claude 0.933,处在 0.015 噪声内 |
| 垃圾短信,目标钉在 0.99 | 0.961(Qwen3-1.7B 4-bit) | Claude 0.961 |
后两行不是默认目标的胜利,是把目标钉死之后与 Claude 打平。留出集参与了搜索,分数偏乐观。未见测试集上,五项仍超过这两个五样本前沿模型,领先 0.024 到 0.342,另外三项打平。生物医学抽取在未见集上是 0.828 对 Claude 的 0.652。
第一次微调贡献总提升的中位数 82%。该抽取任务从 0 到 0.705 是第一次微调,搜索再加 0.125。和该档第一次微调比,最小档中位多 0.082,最大档多 0.023。超参、合成数据、多挖真实数据各占搜索增益的 41%、40%、19%。
分档搜索花 8.6 个训练 GPU 小时、编排费 2.62 美元,停在 0.830。27 个变体全训要 165 GPU 小时、31.81 美元,最好 0.859。低 0.029,GPU 时间约为十九分之一。全量里这个 0.8B 最高 0.835,分档搜索因已经达标而停。
Galaxy S23 上做通话摘要,内存上限 1024 MB。不看手机时的最好模型是 8-bit 4B,ROUGE-L 0.482,文件 4082 MB。只搜放得下的 11 个变体后,得到 Qwen3-0.6B 8-bit、MNN CPU,得分 0.469,低 0.013。Claude Opus 5.5 开高推理,规格齐全但没有实测,简单和中等需求各错 25%,困难需求错 60%。引擎对 92%,CPU 或 GPU 后端对 75%。
1 秒内做完实体抽取,四台手机要四套部署。OnePlus 15 用 Qwen3.5-0.8B 4-bit 和 MNN GPU,F1 0.835。S23 用 SmolLM2-360M 4-bit 和 MNN CPU,0.744。OnePlus 8 Pro 用 SmolLM2-135M 4-bit 和 llama.cpp CPU,0.719。红米 9A 最快 10 秒,没有达标模型。18 组多机部署里 15 组配置不同。
困难需求上,开训前实测会去掉一台手机中位数 88% 的配置,20 例里 19 例可训的最大模型不超过 0.8B。
分数主要来自微调。搜索决定档位、精度和引擎。格式严格的抽取上,517 MB 可以超过五样本前沿模型。意图分类和垃圾短信在默认目标下停在 258 MB,得分 0.884 和 0.913,低于 Claude 五样本 0.933 和 0.961;目标钉到 0.99 才打平。十次主实验编排费 57.37 美元,训练合计 663 GPU 小时,每次两张 L40S。
数据源、指标和输出校验器仍要人写,这是流水线里最手工的一段。合成数据有没有用,取决于坏格式会不会被丢掉。
候选锁在 135M 到 4B 的解码器,训练只有 LoRA,没有偏好优化、强化学习或蒸馏。教师 Qwen3.6-35B-A3B 每轮只写几百条。七个任务上它的五样本低于 0.80,按规则应关闭合成;主实验为了测量贡献把它打开,这七项占合成增益的 67%。嵌套意图上教师只有 0.02,写出的行仍有 90% 通过校验,合成占该任务搜索增益的 60%。这道门考的是做题,用到的是出题。
每个配置只跑一次,0.015 以内算平。档案没有 NPU。测量条件是冷机、256 token 提示、四线程、手机空闲。发热、并发和更长提示下还达不达标,没有测。主实验的 4-bit 和 8-bit 分数打在训练 GPU 的 llama.cpp 上。拷到 OnePlus 15 后,八项任务的 CPU 分与服务器相差不超过 0.0014,垃圾短信相差 0.016。