回应 Google 官方征集:社区列出 Gemma 5 的九项具体技术期待
Paramecium_caudatum_ · reddit · 2026-10-29
Google 的 Omar Sanseviero 在 X 上公开征集对未来 Gemma 模型的建议,一位 Reddit 用户给出了九条具体提案:
- 采用可配置循环深度的 looped transformer,弥补 Gemma 4 推理能力短板,且无需额外昂贵预训练;
- 引入 DeepSeek 的 Engram 拓宽世界知识,只多占几 GB 内存;
- 继续坚持 4-bit QAT,已被证明能让更多人高质量跑模型;
- 引入类似 DeepSeek Compressed Sparse Attention 2 的高效注意力,降低 KV cache 成本(Gemma 4 31B 在 24GB 显卡上的主要劣势);
- 期待约 120B 的 MOE 版本;
- 更新 drafter 模型以利用 DSpark、DFlash 2、EAGLE-4 等新投机解码技术;
- 探索 Gemma 4 12B 式的线性投影多模态方案;
- 放弃小模型的 2-bit QAT——实测会把小模型" lobotomize";
- 不要为 coding benchmark 过拟合,牺牲通用知识、创意写作等,Gemma 应保持全能小模型的定位。
所属事件:Google 征集 Gemma 未来版建议,社区提出多项技术期待(2 条相关)→
「模型」频道最新
- theo 炮轰新模型跑分:不如 Composer 2,运行成本还高 4 倍 — zacharynado · 2026-10-29
- 网传 Gemini 新命名分层:Carbon/Argon/Flash 对标 Opus 与 Haiku — koltregaskes · 2026-10-29
- Kaggle 举办 Bench Summit:指出现行基准测试三大失效问题 — MeganRisdal · 2026-10-29
- SWE-sweep 发布一个月即进入 Google DeepMind 前沿模型模型卡 — OfirPress · 2026-10-29
- 开发者吐槽:Google 模型跑分漂亮,实际用的人却不多 — zacharynado · 2026-10-29
- 网友复盘:Gemini 3 被指刷榜严重,两周后即被 Opus 4.5 反超 — zacharynado · 2026-10-29