Google 开源 EmbeddingGemma 2 论文:统一多模态嵌入,小模型胜大模型
osanseviero · x · 2026-11-03
Google DeepMind 团队发布 EmbeddingGemma 2 论文(arXiv:2610.37364),这是一个开源的统一多模态嵌入模型:
- 统一空间表示:原生将文本、图像、音频、视频及其组合映射到同一嵌入空间,支持单模态、跨模态和混合模态检索。
- 训练方法:采用简化的逐层嵌入(per-layer embeddings)和带模态与目标渐进的多阶段课程学习,保证各模态质量。
- 性能:在跨所有模态的综合嵌入基准上建立新的 Pareto 前沿,超越专家模型和体积大 2–12 倍的模型。
- 资源友好设计:支持选择性加载模态编码器、可调视觉 token 预算、可截断的嵌入维度和量化权重,适合资源受限环境部署。
论文同时发布了关键设计决策的消融分析,并开源模型以促进后续研究。
所属事件:Google 开源 EmbeddingGemma 2：手机离线跨模态搜索(2 条相关)→
「模型」频道最新
- 曝 OpenAI 新模型 3 小时算力破解 Navier-Stokes 千禧难题，另攻破 300+ 数学开放题 — haider1 · 2026-11-03
- GPT-6 Astra 裸看权重即可改网络：仅编辑 0.016% 权重，MATH-500 从 7.9% 升至 48.1% — pmttyji · 2026-11-03
- AgentTime 大更新:GPT 系时间感知领先,任务时长预测最佳误差 2.26 倍 — maksym_andr · 2026-11-03
- paul_cal 长文盘点 LLM 调优中被忽视的失败模式 — paul_cal · 2026-11-03
- 曝 DeepSeek V5 将用华为昇腾芯片预训练，Ascend 960DT 预计 2027 Q1 就绪 — teortaxesTex · 2026-11-03
- 爆料称 GPT-6.5 或动用数百万 GPU 预训练，规模远超现有模型 — VraserX · 2026-11-03