MosaicML Streaming 作者背书,Datology 发布确定性数据加载器 Zephon

josh_wills · x · 2026-10-10

Datology AI 发布了 Zephon,一个在运行时确定性处理数据的 dataloader,旨在解决大规模数据实验中的两大痛点:同一任务在 16 卡与 8 卡上跑出的评测结果不一致,以及每次管线改动都需要重新物化整个数据集。

创始人(前 MosaicML 成员)评价 MosaicML 的 Streaming dataloader 是史上最被低估的 ML 基础设施之一,并称创立 Datology 的目标之一就是继承其衣钵——设计良好的 dataloader 能支撑实时课程学习、任意混合调度、预训练与后训练间无缝切换等整类数据实验,并让这些实验可生产化、可规模化。Zephon 已在 Datology 内部支撑数千次数据实验。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →