开源数据清洗工具 Cull 更新：本地运行自动抓取与多模态筛选
Compunerd3 · reddit · 2026-08-23
作者更新了开源数据集清洗工具 Cull，支持本地运行。该工具可从 Civitai、X、Reddit、Discord 等平台抓取图像或视频，并集成视觉模型（支持 LM Studio、Ollama、Groq、OpenAI）进行自动打标与分类。
主要功能包括：
- 智能筛选：基于质量评分、主题相关性评分、白名单/黑名单词进行过滤。
- 自动去重与水印检测：源头去重，识别水印并单独存放以便后续处理。
- 自动标注：为无描述的内容生成 SD Prompt、Booru Tags 或自然语言描述。
- 并行任务与导出：多任务并行共享算力队列，支持导出为本地数据集或推送至 Hugging Face。
项目完全基于磁盘文件存储（无数据库），采用 MIT 协议，提供 Docker 一键部署。
「应用」频道最新
- 用 ChatGPT 管理全家日程与婚礼筹备，可行吗？ — Wrong_Examination944 · 2026-08-23
- AI Agent 数字人头像效果引发“恐怖谷”吐槽 — jasonkneen · 2026-08-23
- 家庭 AI Agent 实录：Bob 如何融入并服务家庭生活 — dralandthompson · 2026-08-23
- 谷歌开源 Gemma 离线语音翻译，基于 LiteRT-LM 全端侧运行 — tom_doerr · 2026-08-23
- Adapter 数据工具宣称比 RAG 节省 90% Token — Prof_DavidBader · 2026-08-23
- 首例个性化 mRNA 癌症疫苗获 3 期临床成功 — rand_longevity · 2026-08-23