用 CLIP 搭制造业缺陷图离线检索系统,全流程可复现

OkShirt9372 · reddit · 2026-10-21

作者基于 CLIP ViT-B/32 + VectorAI DB 构建了一套完全离线的工业质检图片检索系统,支持用文字描述(如「金属部件上的划痕」)或示例图片搜底片档案,测试数据来自 MVTec AD。

流程包括:本地部署(Docker 启数据库、下载权重后可完全离线运行)→ 用 CLIP 图像编码器生成 512 维归一化向量 → 连同图片路径、部件类别、缺陷标签入库 → 查询时用图像或文本编码器取近邻,并可用元数据过滤 → 评估上以 Top-5 中是否含同缺陷标签图片为起点指标。

作者特别提醒评估陷阱:同为「划痕」,大小、位置、朝向、严重程度差异很大,相关与否取决于多个特征;值得尝试的扩展是对缺陷区域做局部裁剪并嵌入,实验不同上下文留白量。原文还覆盖了 FAISS 对比。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →