330MB 嵌入模型给 2 万张截图建索引：文本主导相似度、视觉描述反帮倒忙
jupiterbjy · reddit · 2026-10-19
作者用约 330MB(Q8) 的 EmbeddingGemma2(768 维)通过 llama.cpp 对 6000 多张 Galgame 截图(英/韩/日混合，共 22448 张待测)做文本搜图实验，并分享了配图与数据。
关键发现：
- 对这个体积而言模型非常可用；索引速度约 5.9 张/秒(RX 7900GRE + Vulkan)
- 对措辞敏感(blond vs blonde 会影响结果)
- 文本内容主导余弦相似度：对话框里的台词(0.7596)比“金发女孩”这类视觉描述(0.6821)权重高得多；有时添加视觉描述反而拉低相似度(如背景里的椅子 −0.00225)
- 单个关键词的存在压过整句语义：“삼각건”这种只在 2/3003 张图里出现的词成为最强区分信号
测试配置：KV/batch/ctx 均为 4096(嵌入模型限制)，Q80 量化，Vulkan 后端(作者吐槽 ROCm 难配)。作者强调样本不科学，仅供参考，后续会做更多测试。
「Infra」频道最新
- 四套免费 CUDA 学习资源：从 NVIDIA 官方课到牛津大学讲义 — techNmak · 2026-10-19
- 巴克莱：纯数据中心债券利差升至约209bp，市场开始计入传染风险 — SumitGup · 2026-10-19
- GPU 开发者称需打造轻量可解释性推理引擎，称移植数值差异难解 — brandon_xyzw · 2026-10-19
- llama-doctor:读 llama.cpp 指标并按严重度诊断问题的 CLI 工具 — msalsas · 2026-10-19
- 阿拉斯加水下 AI 数据中心申请待审，仅存约 330 头白鲸栖息地恐受扰 — anselm · 2026-10-19
- DeepSeek v4.1 推理价格战开打，DeepInfra 五一折甩卖被疑不赚钱 — gharik · 2026-10-19