开源 pixel-curator:两千张原始图一键整理成训练就绪数据集
Impossible-Car-2809 · reddit · 2026-10-14
Reddit 用户发布了本地优先的 CLI 工具 pixel-curator,面向相似度训练(身份/角色/产品/风格模型)的数据集整理,可直出 DreamBooth 或 Kohya LoRA 训练格式。
解决的核心问题:作者指出 200-500 张精选图通常胜过 2000 张杂乱图,而训练前的整理环节最耗时——近重复图、低质图、角度分布失衡、打标都是独立工程。
流水线八步:
- 预过滤低分辨率/损坏文件
- 感知哈希去重(视频来源数据集通常能砍掉大半)
- CLIP 嵌入 + k-means 聚类,可视化角度/光照/构图失衡
- 光学质量评分与人脸感知过滤
- CLIP 文本过滤自动去水印
- WD14 打标 + Florence-2 自然语言描述
- 导出 HTML 报告与表格供人工标注回传
- 一键打包成 Kohya DreamBooth/LoRA 目录结构
全程本地运行、无上传、默认 dry-run、SQLite 断点续跑,普通硬件可用。仓库地址:github.com/snoozey-mf-bnui/pixel-curator。
所属事件:开源 pixel-curator 一键整理图像训练数据集(4 条相关)→
「多模态」频道最新
- 用 Fal 智能体跑低模 previs 加 Seedream/Seedance，视频制作门槛骤降 — adamho · 2026-10-14
- 实测 PPT.AI：贴一个链接，40 秒生成产品概念短片 — yihui_indie · 2026-10-14
- Astra:AI 生成短片《皮下天空》展现电影级哥特幻境 — Extraaltodeus · 2026-10-14
- Argon 生成傅里叶级数动画:7 个旋转圆逼近曲线 — Jaguar_2454 · 2026-10-14
- Flux.2 dev 角色 LoRA 翻车,44 张图仍难还原长相 — MaxHrd · 2026-10-14
- KREA2 BF16 松鼠阴影实验:完整 ComfyUI 参数公开 — vortx_studio · 2026-10-14