HF 维护者考证：EmbeddingGemma2 实为 Gemma 4 双向化续作

tomaarsen · x · 2026-10-29

Hugging Face transformers 维护者 tomaarsen 在讨论中指出，新的 EmbeddingGemma2 并非如文档所说基于 embeddinggemma-300m 架构，而是 Gemma 4 模型家族的延续，只是改成了双向（bidirectional）注意力。他展示了 transformers 仓库中的 modularembeddinggemma2.py 文件，说明 "modular" 文件用于生成实际运行的 "modeling" 文件，其中可见大量来自 Gemma 4 和 Gemma 3 的代码复用。提问者 vncntrsnlt 则质疑：既然 Gemma 4 模型尚未发布，且基座模型都偏大，这种因果到双向的适配（类似 flan-ul2 做法）显得不太寻常，建议通过权重形状寻找谱系线索。