开源工具 fastdup：快速清理图像视频数据集重复项
tom_doerr · x · 2026-08-12
推文介绍了开源工具 fastdup，该工具能高效分析图像与视频数据集并自动清理重复文件，从而提升数据质量并降低运营成本。
- 核心功能：快速洞察数据集，优化图像与标签质量，具备极强的可扩展性。
- 开发背景：由 XGBoost、Apache TVM 等知名开源项目的作者团队创立。
- 使用便捷：通过 pip install fastdup 安装后，仅需几行代码（如 fastdup.removeduplicates()）即可自动扫描并删除重复数据。
「编程与Agent」频道最新
- 观点：不应仅为实现记忆与并行而强行拆分 Agent 身份 — nbaschez · 2026-08-12
- 云智能体加语音交互，将彻底重塑个人电脑体验 — petergyang · 2026-08-12
- 人机协同的三种工作流:HITL、HOTL 与 HFOTL — goyalshaliniuk · 2026-08-12
- 推出 ContextBench：面向上下文工程的 LeetCode 练习场 — Final_Act_9658 · 2026-08-12
- Codex生成量占企业OpenAI总Token的64%，Agent正重塑工作 — soumitrashukla9 · 2026-08-12
- Bouncer: 纯确定性规则拦截恶意指令的 MCP 安全代理 — eccentric_ez · 2026-08-12