开发者用 EmbeddingGemma 2 搭实时嵌入端点,MacBook CPU 跑出 20ms

开发者 mmastrac 展示其 Jev 项目新进展:基于 Google 的 EmbeddingGemma 2 搭建实时 /v1/systemone 嵌入端点,文本处理约 20ms、图像约 100ms,且全程仅依赖 MacBook 的 CPU 运行,无需 GPU,展现了小模型在端侧实现低延迟嵌入服务的可行性。

2026-10-27 ~ 2026-10-28 · 2 条相关