谷歌开源 EmbeddingGemma 2:统一嵌入空间,1 比特量化仅损 4.6% 检索质量
solyarisoftware · x · 2026-10-12
- EmbeddingGemma 2 发布:Google 推出 740M 参数轻量多模态嵌入模型,将文本、代码、图像、视频、音频映射到统一嵌入空间,Apache 2.0 商用许可,面向端侧场景。
- 8K 上下文窗口(比纯文本版大 4 倍);通过 Matryoshka Representation Learning 支持从 768 到 128 维的灵活维度。
- Pastel Labs 的照片锚点技巧:发布了一个平均照片向量作为「空间锚点」,存储前先减去锚点再做 1/4 比特量化。COCO 测试中,768 维下 4 比特保留 0.997 全精度检索质量,1 比特保留 0.954(对 top 20 重排后达 0.998)。
- 存储成本:1 比特每张照片仅 96 字节,4 比特 384 字节,对比 32 位浮点的 3072 字节。
所属事件:谷歌开源 EmbeddingGemma 2 多模态嵌入模型(2 条相关)→
「模型」频道最新
- 爆料：Claude 新模型 2.5 小时自主策划并编码完成视频制作 — ZeroStateReflex · 2026-10-12
- KV Cache 深度图解：从省算力到 GQA/MLA 架构演进全解释 — blaizedsouza · 2026-10-12
- Claude Opus 5.5 对比 GPT-6.1 Sol 实测：这次我更看好 GPT — CodeByPoonam · 2026-10-12
- DeepMind AlphaProof Nexus 解出 9 道 Erdős 难题与 44 项猜想 — kimmonismus · 2026-10-12
- Codex 频因「网络安全」护栏中断任务,用户向官方喊话求解 — Al_Grigor · 2026-10-12
- 第三方平台为 Kimi K3 上线视觉输入,DeepSeek 支持最大思考模式 — sarahdrinkwater · 2026-10-12