开源图像数据集清洗工具 pixel-curator:质量打分、去重、防泄漏划分
Impossible-Car-2809 · reddit · 2026-10-12
开发者开源了 pixel-curator(0.1.0,MIT 协议),把每次训练 LoRA/Dreambooth 前重复写的图像数据集预处理脚本整合成一个纯 Python 工具。
核心功能:
- 基于经典 CV 信号为每张图打质量分:锐度、曝光/裁剪、对比度、色偏、噪点、构图,自动标记弱图
- 移除精确与近似重复,近似重复会被分进同一个 train/val/test 划分,避免数据泄漏
- 导出 Kohya 风格目录结构并生成 caption 旁车文件,支持 WD14 和 Florence-2 两种打标模型
- 领域无关的核心 + 插件式领域配置(各领域自定义质量权重与 caption 词表),附带「室内设计」示例
纯 NumPy/Pillow 实现,不依赖 OpenCV,可作 CLI 或库使用。作者征集插件 API 反馈和下一个垂直领域的建议,并提醒仅用于有版权的图片。
所属事件:开源工具 pixel-curator 助力图像数据集清洗与准备(2 条相关)→
「多模态」频道最新
- Magnific One + Seedance 组合，做出「看不出是 AI」的视频 — techhalla · 2026-10-12
- Runway Agent iOS 实拍:黑白胶片质感的日本旅行影像 — jongranskog · 2026-10-12
- 从贝多芬钢琴曲到 AI 音乐MV:WANTED 完整制作流程拆解 — tetsuoai · 2026-10-12
- Qwen-Image-2.1 无审查量化版登 Hugging Face 热榜 — abenzerps · 2026-10-12
- 本地实测:4070 Ti Super 跑 H3 反而快过 RTX 5070 一倍 — smellyelon · 2026-10-12
- OpenWork 开源替代 Claude Cowork，已收获 2.4 万 Star — alex_verem · 2026-10-12