嵌入模型压到5MB
nicodotdev · x · 2026-07-12
帖子提到一个 **all-miniLM-L6** 的蒸馏版本，结合 **QAD 三元权重** 后，把整个向量嵌入库连同模型权重压缩到 **5MB（mini）/ 7MB（base）**。 这类信息重点在于： - 通过量化/压缩把 embedding 模型做得极小 - 目标是降低本地部署和分发成本 - 对轻量级向量检索、端侧集成和嵌入式场景有实用价值
nicodotdev · x · 2026-07-12
帖子提到一个 **all-miniLM-L6** 的蒸馏版本，结合 **QAD 三元权重** 后，把整个向量嵌入库连同模型权重压缩到 **5MB（mini）/ 7MB（base）**。 这类信息重点在于： - 通过量化/压缩把 embedding 模型做得极小 - 目标是降低本地部署和分发成本 - 对轻量级向量检索、端侧集成和嵌入式场景有实用价值