专题 · FULL STORY

EmbeddingGemma 2:从开源发布到技术报告

谷歌 DeepMind 于 10 月 28 日开源发布 744M 参数全模态嵌入模型 EmbeddingGemma 2,随后于 11 月初在 arXiv 发布技术报告,公开完整架构、训练配方与消融实验,展示其统一高效的多模态检索能力。

2026-10-28 ~ 2026-11-06 · 2 集 · 15 条

第 1 集 · 谷歌开源 EmbeddingGemma 2：744M 全模态嵌入模型(2026-10-28,13 条)

Google DeepMind 于 10 月 28 日开源发布多模态嵌入模型 EmbeddingGemma 2，并同步发布技术报告《Unified and Efficient Multimodal Representations》（arXiv 2610.37364，由 Google EmbeddingGemma 团队发布于 Hugging Face，论文作者包括 Henrique Schechter Vera、Sahil Dua 等数十人）。该模型仅约 744M 参数（部分帖子记为 740M），可原生将文本、图像、音频、视频及其组合统一编码到同一向量空间，是同类全模态（omni-modal）嵌入模型中体量最小的之一；据 @dairai 转述，其效果胜过 12 倍于它的更大模型，@tomaarsen 与 @kalyankpl 均指出其在多种模态上达到帕累托前沿。

已确认

  • 架构上，每个模态有独立编码器接入共享骨干，可按需加载：纯文本场景仅需 271M 参数，视觉语言等组合按需启用对应编码器。
  • 方法要点包括简化的逐层嵌入（per-layer embeddings）、多阶段课程学习等（@google、@kalyankpl 转述的论文内容）。
  • 据 @tomaarsen 转述的技术报告，该模型在四类基准上建立新的 Pareto 前沿：代码检索（MTEB）、图像/视频/视觉文档（MMEB-v2）、音频（MAEB）与图像（MIEB-lite），小参数量下超越更大体量的模型（如 Ultr… 系列）。
  • 据 @rohanpaulai 转述，模型以 Apache 2.0 许可开源，将文本、代码、图像、音频、视频映射到同一可搜索向量空间；手机可在 567MB 内存内运行该模型，在本地理解和检索用户数据，无需上传云端。
  • 据 @GlennCameronjr 转发的 Google Gemma 官方消息，模型可 100% 本地运行，开发者可通过 WebGPU 与 Transformers.js 在浏览器中构建多模态应用。
  • 据 @spillai 转发，VLM Run 已在其 Gateway 上架该模型，支持文本、图像、文档、视频和音频的跨模态搜索。
  • 模型以开放方式发布，技术报告公开于 Hugging Face / arXiv，@gabriberton 确认官方已放出报告链接；@burkov 亦撰文评测，指出其可应用于检索、相似度匹配与分类等场景。

为什么重要

  • 嵌入模型是检索、RAG 与多模态搜索的基础组件；在统一向量空间中原生支持四种模态及其混合输入，可简化跨模态检索系统的搭建。
  • 744M 的小体量加上模态级按需加载，显著降低部署成本；567MB 的手机端内存占用、Apache 2.0 许可与端侧定位使其可在资源受限环境下本地运行，兼顾隐私（数据不出设备），对开源嵌入模型生态（如 sentence-transformers 社区，@tomaarsen 为其维护者）与浏览器端多模态应用开发有直接影响。

第 2 集 · 谷歌发布 EmbeddingGemma 2 技术报告(2026-11-06,2 条)

谷歌在 arXiv 发布 EmbeddingGemma 2 技术报告，公开了这一 740M 参数开源多模态嵌入模型的完整架构、训练配方与消融实验。该模型可在统一向量空间中原生表示文本、代码、图像、音频、视频及其组合，论文称其刷新了 Pareto 前沿，在性能与效率上建立了新的平衡点。