谷歌 EmbeddingGemma 2:744M 多模态嵌入模型跑进手机 567MB 内存
rohanpaul_ai · x · 2026-10-29
谷歌发布 EmbeddingGemma 2 论文:Apache 2.0 开源的端侧多模态嵌入模型,将文本、代码、图像、音频、视频统一到单一可搜索向量空间,让手机不联网即可理解和检索本地内容。
关键数据:
- 744M 参数,在多项基准上胜过 2 到 12 倍大的模型,建立新的 Pareto 前沿
- Pixel 11 Pro 上量化文本权重仅占约 191MB 活跃内存,完整多模态模型约 567MB(4-bit 权重)
- 上下文窗口扩至 8K tokens,单次输入约可容纳 5.5 分钟音频、29 张图或 58 帧视频
- 语音直接嵌入优于先转写再嵌入:MSEB 口语查询检索 69.54 vs 57.59;代码检索 MTEB Code 得分 78.68,较一代的 68.76 显著提升
技术路线:基于 Gemma 4 构建,蒸馏对齐更大的 Gemini Embedding 2,再用对比训练微调;支持按模态选择性加载编码器、可截断的嵌入维度等资源受限设计,并附消融分析。
所属事件:谷歌开源 EmbeddingGemma 2：744M 全模态嵌入模型(13 条相关)→
「模型」频道最新
- METR 图表分析 Anthropic 模型轨迹：持续加速假设误差 1.9 胜一次性跃升 — scaling01 · 2026-11-06
- 模型互写评测「大乱斗」：Gemma-4 夺冠，Qwen2.5-72B 首次全通过 APEX — Dave_Maynor · 2026-11-06
- r-1 mini 发布图展示解析任务 Pareto 前沿，价质量不再二选一 — JenniferHli · 2026-11-06
- METR 调查：Anthropic 员工自报 Model 4 带来约 12 倍效率提升 — scaling01 · 2026-11-06
- webAI 发布开源 8B 模型与 Mac 应用，主打本地端侧 agent 协作 — omarsar0 · 2026-11-06
- 传 OpenAI 新模型两周攻克百余个长期悬而未决的数学难题 — felpix_ · 2026-11-06