DigUp 深度解读:740M 参数多模态嵌入如何在 Mac 本地按内容搜文件

xiaohu · x · 2026-10-14

DigUp 是开发者 Abdur Rahim 开源的 Mac 菜单栏搜索工具,基于 Google DeepMind 的多模态嵌入模型 EmbeddingGemma 2(Apache 2.0 协议),可搜索选定文件夹中的照片、文档、代码及音视频片段,并用一句话定位到视频时刻、PDF 页码或代码段,全程在 Apple Silicon 本地完成,不上传文件。

为什么一句话能找到照片和录音:模型总参数 740M,包括 270M 文本主干、170M 视觉编码器和 300M 音频编码器,把文本、图像、视频抽帧和音频切片映射到统一的 768 维向量空间,文字查询可直接与各模态片段算余弦相似度排序。

与 OCR+语音识别链路的区别:常见的先转文字再检索的方案会漏掉语调、背景声、构图等非文字信息;EmbeddingGemma 2 走原生多模态对齐路线。此外模型使用任务指令前缀(如 task: search result | query: ...、task: code retrieval | ...)引导向量对齐目标检索场景,且视觉/音频编码器模块化解耦,纯文本搜索时只需加载文本主干。

所属事件:开源 Mac 工具 DigUp 用 EmbeddingGemma 2 实现全本地跨模态语义搜索(5 条相关)→

原文链接 →

「应用」频道最新

更多「应用」频道 AI 资讯 →