开源图像数据集准备工具 pixel-curator:质量打分去重防泄漏
Impossible-Car-2809 · reddit · 2026-10-12
开发者开源了 LoRA/Dreambooth 训练前的数据集准备工具 pixel-curator(MIT,纯 Python):
- 质量评分:基于传统 CV 信号给每张图打分——清晰度、曝光/过曝、对比度、色偏、噪点、构图,自动标记弱图。
- 去重与防泄漏:删除精确与近似重复图,且近似重复图会被分到同一个 train/val/test 切分,避免跨集泄漏。
- 导出:生成 Kohya 风格目录与 caption sidecar 文件,支持 WD14 和 Florence-2 打标。
- 可扩展:核心与内容无关,每个领域是一个小插件,自定义质量权重和 caption 词表(内置 interiors 示例);纯 NumPy/Pillow 实现,不依赖 OpenCV,可 CLI 或库方式使用。
目前 0.1.0 早期版本,作者征集插件 API 反馈和值得支持的垂直领域建议。
所属事件:开源工具 pixel-curator 助力图像数据集清洗与准备(2 条相关)→
「编程与Agent」频道最新
- Grok 应用上线 Bots 功能,可自建 Trader 等专属机器人 — nima_owji · 2026-10-12
- 开源 Moli:为 AI agent 打造的按需渲染轻量无头浏览器 — abhishek__AI · 2026-10-12
- YOLOv8+OpenCV 实时目标检测项目:多线程帧缓冲保流畅 — mariamamhan · 2026-10-12
- 不用任何生成模型,Claude Opus 5.5 写 3000 行 Python 做出黑洞死亡短片 — toni_btrain · 2026-10-12
- HF 员工在 DGX Spark 上跑 pi-web,手机远程遥控本地 AI agent — lhoestq · 2026-10-12
- 十条真正有效的提示词技巧：少样本示例胜过长篇指令 — thisdudelikesAI · 2026-10-12