EmbeddingGemma 2 训练揭秘：分阶段蒸馏 Gemini，嵌入尺寸最低压到 128
gabriberton · x · 2026-11-15
线程 [5/6]：EmbeddingGemma 2 的训练主要依赖从 Gemini Embedding 2 蒸馏，分阶段进行：
- 纯文本蒸馏：先在文本对齐上打底
- 多模态蒸馏：扩展到图像、视频、音频和文档
- 去蒸馏阶段：改用对比损失加上 spread-out 损失，把嵌入均匀铺开到特征空间；同时加入 Matryoshka 尺寸，从 768 一路降到 128
被引用部分解释了 Matryoshka Representation Learning（Google Research 2024）的动机：embedding 模型的检索成本高，尤其在百亿级文档数据库中存储和检索嵌入开销巨大，嵌套式表征让同一向量可按需截断到不同维度。
所属事件:EmbeddingGemma 2 训练细节曝光：蒸馏 Gemini 与量化压缩(2 条相关)→
「研究」频道最新
- Google 新团队 AIS 发布 DuoDiscover：内核平均提速 4.09 倍 — VioletNPeng · 2026-11-15
- RL 后训练能否让 LLM 学会组合推理技能？论文入选 NeurIPS 2026 — yifeiwang77 · 2026-11-15
- EmbeddingGemma 2 登 HuggingFace 热榜第一，非 LLM 模型罕见霸榜一周 — gabriberton · 2026-11-15
- 上海交大提出 Value as Memory,给机器人策略装上任务进度记忆 — jiqizhixin · 2026-11-15
- Genesis 团队发布 Eden：机器人学习框架，任务构建快 1.6-4 倍 — zhou_xian_ · 2026-11-15
- 波恩大学团队将人体细胞年龄指标逆转最多 60 岁 — Dr_Singularity · 2026-11-15