Laurence Moroney 详解 2026 端侧小模型首选：Gemma 4 与 Qwen 3.5
lmoroney · x · 2026-08-22
Laurence Moroney 撰文分析适合 2026 年端侧部署（手机/笔记本/断网环境）的 2-12B 参数模型，重点介绍了授权开放且性能优异的选项：
- Gemma 4：
- 授权：Apache 2.0，非常适合教学与商业部署。
- 规格：涵盖 2.3B(E2B) 至 31B 不等，新增 12B Unified 多模态版，支持 16GB 显存本地运行及原生音频。
- 性能：E2B 模型在树莓派 5 CPU 上可达 133 prefill/7.6 decode tok/s，NPU 上更高。
- Qwen 3.5：同样采用 Apache 2.0，是端侧生态的另一重要支柱。
- 其他提及：SmolLM3 开放完整配方；Llama 4 为 open-weight，需注意授权限制。
作者建议在选择本地堆栈时优先考虑 Gemma 4 和 Qwen 3.5，并关注具体的内存带宽与可复现性指标。
所属事件:2026 端侧小模型选型：Gemma 4 与 Qwen3.5 领跑(2 条相关)→
「Infra」频道最新
- 黄仁勋做客 BG2 播客:谈 AI 收入能否撑起 Capex 与 2027 瓶颈 — elonmusk · 2026-10-16
- Mistral 本地推理基建机架曝光:DGX Spark、Mac Studio 等混搭 — gregmushen · 2026-10-16
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16