Gemma 4 技术报告发布
_philschmid · x · 2026-07-13
Google 发布了 **Gemma 4 Technical Report**，作者在帖中强调这批模型已经跑了一段时间，报告里详细解释了它们的实现思路。 重点包括： - 通过 **local-to-global attention 5:1** 和 **pp-RoPE** 降低 KV cache 占用 - 使用 **speculative decoding** 提升推理效率 - 采用 **Multi-Token Prediction drafters** 支持更高效的生成 这是一篇偏工程实现的技术报告，信息重点在于 Gemma 4 家族如何兼顾记忆占用与推理性能。