Josh Wills 在 Datology 开源新数据加载库

10 月 7 日，工程师 Josh Wills 在 Datology 发布新数据加载库的启动博文并开源代码。该库面向大模型数据准备场景，同时开源仓库中保留了整整一年的提交历史，他形容这份记录是团队过去一年与 agent 协作方式演变的「化石记录」，并表示后续会专门展开聊这部分。

已确认

• 库的第一个设计点是对混排、分词、打包等在线数据预处理管线实现「弹性确定性」，灵感来自 Databricks Mosaic 的 Streaming... 相关方案，让这类管道具备可扩展且结果确定的行为
• 库支持 JSONL/Parquet 等常见数据格式
• 第三个设计点是为动态课程学习实验提供架构支持

为什么重要

• Josh Wills 指出，动态课程领域许多有趣研究难以进入更广社区，正是因为缺少一个维护良好、文档完善的数据加载库来处理繁琐部分；这个库的目标就是承担这些杂活，让研究者专注研究本身
• 仓库中一年与 agent 协作的完整提交历史，本身也成为观察 AI 辅助工程实践演变的珍贵一手材料，值得后续关注他的展开讨论

2026-10-07 ~ 2026-10-07 · 5 条相关

• 【源头】数据加载库设计点之一：混排/分词/打包管线的弹性确定性 — josh_wills · 2026-10-07
• Josh Wills 推数据管道工具:支持 JSONL/Parquet 与弹性确定性 — josh_wills · 2026-10-07
• 【源头】Josh Wills 开源新数据加载库，仓库记录一年 agent 协作演变 — josh_wills · 2026-10-07
• 【源头】数据加载库设计点之三：为动态课程学习实验提供架构 — josh_wills · 2026-10-07
• Datology 发 agent 代码库:一年提交记录沉淀成「化石档案」 — josh_wills · 2026-10-07