Gemma 4 技术报告发布
_philschmid · x · 2026-07-13
Google 发布了 Gemma 4 Technical Report，作者在帖中强调这批模型已经跑了一段时间，报告里详细解释了它们的实现思路。
重点包括：
- 通过 local-to-global attention 5:1 和 pp-RoPE 降低 KV cache 占用
- 使用 speculative decoding 提升推理效率
- 采用 Multi-Token Prediction drafters 支持更高效的生成
这是一篇偏工程实现的技术报告，信息重点在于 Gemma 4 家族如何兼顾记忆占用与推理性能。
「模型」频道最新
- ChatGPT 把 404 Media 当科技公司客服，大批用户被推荐去找记者修手机 — 404 Media · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- Mirendil 发布首个自研预训练模型 Fern,上下文最长 1000 万 token — bneyshabur · 2026-10-26
- 网友发现 Claude 疑似上线专用翻译界面 — BLCNYY · 2026-10-26
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26
- 售卖机基准新观察：Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26