2026 年端侧小模型选型：Gemma 4 与 Qwen3.5

lmoroney · x · 2026-08-22

文章重点分析了适合在手机、笔记本电脑等端侧运行的 2B-12B 参数模型。推荐首选 Google 的 Gemma 4（Apache 2.0 许可）和阿里巴巴的 Qwen3.5（Apache 2.0），并详细介绍了 Gemma 4 的多尺寸配置（从 2.3B 到 31B）、其在树莓派 5 上的性能数据（133 prefill / 7.6 decode tok/s）以及 12B 多模态版本。同时对比了 SmolLM3 和 Llama 4 的许可证情况，强调了在本地部署时注意开源协议和内存带宽的重要性，提出了“本地处理简单查询，云端处理复杂查询”的混合架构思路。