Laurence Moroney 详解 2026 端侧小模型首选：Gemma 4 与 Qwen 3.5
lmoroney · x · 2026-08-22
Laurence Moroney 撰文分析适合 2026 年端侧部署（手机/笔记本/断网环境）的 2-12B 参数模型，重点介绍了授权开放且性能优异的选项：
- Gemma 4：
- 授权：Apache 2.0，非常适合教学与商业部署。
- 规格：涵盖 2.3B(E2B) 至 31B 不等，新增 12B Unified 多模态版，支持 16GB 显存本地运行及原生音频。
- 性能：E2B 模型在树莓派 5 CPU 上可达 133 prefill/7.6 decode tok/s，NPU 上更高。
- Qwen 3.5：同样采用 Apache 2.0，是端侧生态的另一重要支柱。
- 其他提及：SmolLM3 开放完整配方；Llama 4 为 open-weight，需注意授权限制。
作者建议在选择本地堆栈时优先考虑 Gemma 4 和 Qwen 3.5，并关注具体的内存带宽与可复现性指标。
所属事件:2026 端侧小模型选型：Gemma 4 与 Qwen3.5 领跑(2 条相关)→
「Infra」频道最新
- MCP 并非取代 API，而是改变了 API 的设计受众 — kush_patil · 2026-08-22
- 民调：美国民众反对建数据中心比例一年内升至 75% — The Decoder · 2026-08-22
- Qwen3.8-27B 推出 DFlash2 投机解码 GGUF 量化版 — incoai · 2026-08-22
- Woolly 让 Qwen3-8B 数理解码提速 2-3 倍 — bosmeny · 2026-08-22
- 观点：禁数据中心将致未来二十年经济低迷 — GabGarrett · 2026-08-22
- Vercel修复TLS碎片问题，所有网站恢复正常 — uwukko · 2026-08-22