谷歌开源 744M 全模态嵌入模型 EmbeddingGemma 2

Google DeepMind 于 10 月 28 日开源发布多模态嵌入模型 EmbeddingGemma 2,并同步发布技术报告《Unified and Efficient Multimodal Representations》(arXiv 2610.37364,由 Google EmbeddingGemma 团队发布于 Hugging Face)。该模型仅 744M 参数,可原生将文本、图像、音频、视频及其组合统一编码到同一向量空间,是同类全模态(omni-modal)嵌入模型中体量最小的之一。据 @dairai 转述,其效果胜过 12 倍于它的更大模型;@tomaarsen 与 @kalyankpl 均指出该模型在多种模态上达到帕累托前沿。

已确认

• 架构上,每个模态有独立编码器接入共享骨干,可按需加载:纯文本场景仅需 271M 参数,视觉语言等组合按需启用对应编码器。
• 方法要点包括:简化的逐层嵌入(per-layer embeddings)、多阶段课程学习等(@google、@kalyankpl 转述的论文内容)。
• 模型以开放方式发布,技术报告公开于 Hugging Face / arXiv。

为什么重要

• 嵌入模型是检索、RAG 与多模态搜索的基础组件;在统一向量空间中原生支持四种模态及其混合输入,可简化跨模态检索系统的搭建。
• 744M 的小体量加上模态级按需加载,显著降低部署成本,让多模态嵌入在资源受限环境下也可用,对开源嵌入模型生态(如 sentence-transformers 社区,@tomaarsen 为其维护者)有直接影响。

2026-10-28 ~ 2026-10-28 · 5 条相关

• Google EmbeddingGemma 2 论文：统一嵌入空间刷新 Pareto 前沿 — kalyan_kpl · 2026-10-28
• 谷歌开源 EmbeddingGemma 2:744M 多模态嵌入模型胜过 12 倍大模型 — dair_ai · 2026-10-28
• 【源头】Google 发布 740M 参数全模态嵌入模型 EmbeddingGemma 2 技术报告 — tomaarsen · 2026-10-28
• Google 发布 740M 参数 EmbeddingGemma 2 技术报告 — tomaarsen · 2026-10-28

另有 1 条近重复转述:google