开发者用 EmbeddingGemma 2 搭实时嵌入端点：文本 20ms，全程只跑 MacBook CPU

generativist · x · 2026-10-28

开发者 mmastrac 展示了基于 Google EmbeddingGemma 2 搭建的实时 /v1/systemone 嵌入端点：文本约 20ms、图像约 100ms，且完全实时可训练，能蒸馏上游教师模型，默认支持多模态。其强调最关键的一点：这套实时推理完全没有用 GPU——不碰 Metal、不用神经引擎，纯跑在 MacBook 的 CPU 上，作者称这在合适的使用方式下让这个尺寸的模型表现好得难以置信。转发者 GlennCameronjr 特别点出「这不在 GPU 上跑」这一反常识亮点。