手机端微调小模型到可用

joemeno · x · 2026-07-17

Google 工程师分享了一套在手机上把小模型做成可用离线智能体的流程：先选 Gemma 270M，再用合成任务数据做微调，接着用 LoRA 训练、int4 量化，最后部署到 Pixel 端侧运行。

作者强调，这个循环的目标不是追求“通用大模型”，而是让一个 270M 的小模型在自己的任务上超过更大的 70B 模型；在端侧环境里还能做到很高的推理速度。帖中还把这套栈概括为：Gemma 270M + synthetic data + LoRA + int4 quantization + on-device runtime。