Google Open-Sources EmbeddingGemma 2, a 744M Omni-Modal Embedding Model
Google DeepMind 于 10 月 28 日开源发布多模态嵌入模型 EmbeddingGemma 2,并同步发布技术报告《Unified and Efficient Multimodal Representations》(arXiv 2610.37364,由 Google EmbeddingGemma 团队发布于 Hugging Face)。该模型仅 744M 参数,可原生将文本、图像、音频、视频及其组合统一编码到同一向量空间,是同类全模态(omni-modal)嵌入模型中体量最小的之一。据 @dairai 转述,其效果胜过 12 倍于它的更大模型;@tomaarsen 与 @kalyankpl 均指出该模型在多种模态上达到帕累托前沿。
已确认
- 架构上,每个模态有独立编码器接入共享骨干,可按需加载:纯文本场景仅需 271M 参数,视觉语言等组合按需启用对应编码器。
- 方法要点包括:简化的逐层嵌入(per-layer embeddings)、多阶段课程学习等(@google、@kalyankpl 转述的论文内容)。
- 模型以开放方式发布,技术报告公开于 Hugging Face / arXiv。
为什么重要
- 嵌入模型是检索、RAG 与多模态搜索的基础组件;在统一向量空间中原生支持四种模态及其混合输入,可简化跨模态检索系统的搭建。
- 744M 的小体量加上模态级按需加载,显著降低部署成本,让多模态嵌入在资源受限环境下也可用,对开源嵌入模型生态(如 sentence-transformers 社区,@tomaarsen 为其维护者)有直接影响。
2026-10-28 ~ 2026-10-28 · 5 related posts
Primary sources
- Google's EmbeddingGemma 2: one open embedding space for text, image, audio, video, setting a new Pareto frontier — kalyan_kpl · 2026-10-28
- Google open-sources EmbeddingGemma 2: a 744M multimodal embedding model beating models 12x larger — dair_ai · 2026-10-28
- [source] Google details EmbeddingGemma 2: a 740M-parameter Pareto-optimal omni-modal embedder — tomaarsen · 2026-10-28
- Google Publishes Technical Report for 740M-Parameter Omni-Modal EmbeddingGemma 2 — tomaarsen · 2026-10-28
1 near-duplicate retellings: google