EmbeddingGemma 2 训练细节曝光：蒸馏 Gemini 与量化压缩

EmbeddingGemma 2 的训练方法被详细披露：模型主要从 Gemini Embedding 2 分阶段蒸馏而成，先以纯文本蒸馏完成文本对齐打底，嵌入尺寸最低可压缩至 128。训练收尾还采用两项技巧：一是在同一次训练的单轨迹 checkpoint 上做平均（类似 souping 的模型合并），二是引入 int4 量化感知训练，以在低精度下保持嵌入质量。

2026-11-15 ~ 2026-11-15 · 2 条相关