270M 小模型在手机上跑 Agent
ivan_digital · reddit · 2026-07-19
作者维护开源项目 **speech-android**，实现了一个完全在 Android 手机端运行的语音 agent：VAD → 流式 STT → 工具调用 LLM → 设备动作 → TTS 回复，整套流程只占 **1.2 GB RAM**，在 Galaxy S23 Ultra 上的语音结束后约 **0.9 秒**可开始响应。 他认为让小模型稳定做 agent 的关键有两点： 1. 用 **9.5 MB 的 LoRA adapter** 按精确工具 schema 和设备状态序列做微调，而不是泛化的函数调用训练； 2. 运行时只暴露当前状态下合法的工具，缩小动作空间比 prompt engineering 更有效。 他还强调整个路由没有关键词/正则兜底，工具选择完全由模型决定；单次工具调用平均耗时 **294 ms**。