Gemma 4 E2B 架构溯源:并非 T5Gemma-2 后续,而是 Gemma4 双向化改造

tomaarsen · x · 2026-10-29

tomaarsen 在回复网友关于 google/gemma-4-E2B-it 架构来源的提问时分析:该模型并非基于 T5Gemma-2 编码器架构,更像是 Gemma 4 模型家族的延续,只是改成了双向(bidirectional)结构。

他还指出,通过查看 transformers 库中的架构文件可以发现其 lineage:"modular" 文件用于生成实际运行的 "modeling" 文件,其中大量复用了 Gemma 4 和 Gemma 3 的代码;Google 可能做了一些层级裁剪(layer trimming),因为旧的 T5Gemma 模型都太大,不适合直接继续训练。