EmbeddingGemma 2 收尾两招：单轨迹 checkpoint 平均 + int4 量化感知训练
gabriberton · x · 2026-11-15
线程 [6/6] 补充 EmbeddingGemma 2 训练的最后两个技巧：
- 模型合并：类似 souping，但只用同一次训练的 checkpoint——取 finetuning 轨迹末尾 checkpoint 与显著更早的 checkpoint 做无权重平均，缓解微调中的过拟合退化，同时保留微调收益
- int4 量化感知训练：直接提供量化版本
配图为论文原文片段，作者高亮了「merge checkpoints along a single finetuning trajectory」的做法。
所属事件:EmbeddingGemma 2 训练细节曝光：蒸馏 Gemini 与量化压缩(2 条相关)→
「研究」频道最新
- Google 新团队 AIS 发布 DuoDiscover：内核平均提速 4.09 倍 — VioletNPeng · 2026-11-15
- RL 后训练能否让 LLM 学会组合推理技能？论文入选 NeurIPS 2026 — yifeiwang77 · 2026-11-15
- EmbeddingGemma 2 训练揭秘：分阶段蒸馏 Gemini，嵌入尺寸最低压到 128 — gabriberton · 2026-11-15
- EmbeddingGemma 2 登 HuggingFace 热榜第一，非 LLM 模型罕见霸榜一周 — gabriberton · 2026-11-15
- 上海交大提出 Value as Memory,给机器人策略装上任务进度记忆 — jiqizhixin · 2026-11-15
- Genesis 团队发布 Eden：机器人学习框架，任务构建快 1.6-4 倍 — zhou_xian_ · 2026-11-15