DigUp 深度解读:740M 参数多模态嵌入如何在 Mac 本地按内容搜文件
xiaohu · x · 2026-10-14
DigUp 是开发者 Abdur Rahim 开源的 Mac 菜单栏搜索工具,基于 Google DeepMind 的多模态嵌入模型 EmbeddingGemma 2(Apache 2.0 协议),可搜索选定文件夹中的照片、文档、代码及音视频片段,并用一句话定位到视频时刻、PDF 页码或代码段,全程在 Apple Silicon 本地完成,不上传文件。
为什么一句话能找到照片和录音:模型总参数 740M,包括 270M 文本主干、170M 视觉编码器和 300M 音频编码器,把文本、图像、视频抽帧和音频切片映射到统一的 768 维向量空间,文字查询可直接与各模态片段算余弦相似度排序。
与 OCR+语音识别链路的区别:常见的先转文字再检索的方案会漏掉语调、背景声、构图等非文字信息;EmbeddingGemma 2 走原生多模态对齐路线。此外模型使用任务指令前缀(如 task: search result | query: ...、task: code retrieval | ...)引导向量对齐目标检索场景,且视觉/音频编码器模块化解耦,纯文本搜索时只需加载文本主干。
所属事件:开源 Mac 工具 DigUp 用 EmbeddingGemma 2 实现全本地跨模态语义搜索(5 条相关)→
「应用」频道最新
- Dimillian 用 ChatGPT 桌面版 Space 功能起草文章:体验出色 — Dimillian · 2026-10-14
- 「我们在自动化错误的东西」:语音开灯 3 秒 vs 按开关 1 秒 — michalmalewicz · 2026-10-14
- Gemma 携手基因组模型 BOTANIC-1,一下午锁定增产因果突变 — remilouf · 2026-10-14
- 老玩家总结 50 条 AI 使用心得:喂好上下文、语音交互、接管全部工具链 — koltregaskes · 2026-10-14
- TV Time 关停丢 15 年记录,他把 1 万部影视游戏搬进 Obsidian 自建系统 — dSebastien · 2026-10-14
- Obsidian 媒体库自动化:拖动 Kanban 卡片即自动盖日期戳 — dSebastien · 2026-10-14