手机端微调小模型到可用
joemeno · x · 2026-07-17
Google 工程师分享了一套在手机上把小模型做成可用离线智能体的流程：先选 **Gemma 270M**，再用合成任务数据做微调，接着用 **LoRA** 训练、**int4** 量化，最后部署到 Pixel 端侧运行。 作者强调，这个循环的目标不是追求“通用大模型”，而是让一个 **270M** 的小模型在自己的任务上超过更大的 **70B** 模型；在端侧环境里还能做到很高的推理速度。帖中还把这套栈概括为：**Gemma 270M + synthetic data + LoRA + int4 quantization + on-device runtime**。