Hugging Face datatrove 发布 0.10.1,修复空文档崩溃与 skip 参数失效
vanstriendaniel · x · 2026-09-30
Hugging Face 数据处理库 datatrove 发布 v0.10.1,以修复 bug 为主:
- 统计模块修复:DocStats、LineStats、ParagraphStats 等统计块遇到空文档、纯空白或纯标点文档不再抛 ZeroDivisionError,比率和均值记为 0.0 并计入汇总;GopherRepetitionFilter 对空文档同样不再崩溃
- 行为修复:HuggingFaceDatasetReader 此前文档声称支持但实际忽略的 skip 参数现已生效,会跳过每个任务中前 skip 个有文本的文档,且生成的 id 不受 skip 影响;limit 和 skip 在所有 reader 中均为按任务生效
- 工程改进:测试套件引入 Hypothesis 属性测试,CI 提速
作者提示:部分修复会改变此前会崩溃或忽略参数的运行输出,但原本正常运行的运行结果保持一致。
「编程与Agent」频道最新
- 千个 AI 智能体 24 小时自动发现病毒中类 CRISPR 新基因系统 — CurieuxExplorer · 2026-09-30
- SEAD框架:工具调用智能体攻防DART攻击成功率最高提升35.9点 — Xinjie Shen · 2026-09-30
- IBM提出Q&D训练法:智能体主动追问所需信息,胜过15倍大模型 — ibm · 2026-09-30
- 多仓库项目记忆怎么管？每条决策只归属一个仓库，Git 串成可导航网络 — oliver-zehentleitner · 2026-09-30
- 开源项目 Hister：把你浏览过的网页和文件做成 agent 可检索的私有搜索引擎 — bibryam · 2026-09-30
- Monid 被称为 Agent 工具界 OpenRouter：一把 key 调用 2000+ 工具 — aigclink · 2026-09-30