DatologyAI 开源训练数据加载器 Zephon:换 GPU 数不再打乱数据
josh_wills · x · 2026-11-21
DatologyAI 开源了训练数据加载器 Zephon(Apache 2.0,Python 3.10+),直击模型团队反复重写 data loading 的痛点。
- 弹性确定性(elastic determinism):从 16 GPU 换到 8/32/64 GPU 恢复训练时,仍保持完全相同的全局 batch,数据管线即使拆分、打包、重排样本也不会悄悄变化。
- 减少重复预处理:把 tokenize、pack、混比例等工作移入训练过程,改动数据配方(如 50:50 token 混合)不再需要反复物化整个数据集副本,省下算力、存储和时间。
- 一个 Python 管线组合加载、预处理、混合与 batch,提供 hf/cloud/parquet/streaming 等可选扩展,附带论文与博客。
「Infra」频道最新
- 实测称 AMD ROCm 10.2 让 Qwen3.8-27B 推理吞吐达 2.2 倍 — AnushElangovan · 2026-11-21
- OpenVINO:在 Intel CPU/GPU/NPU 上免 GPU 跑 AI 的开源工具包 — abhishek__AI · 2026-11-21
- AWS Lambda 现已支持 GPU,可在 Serverless 函数里托管模型 — samgoodwin89 · 2026-11-21
- 2.7万思考token零回答:谷歌Vertex AI以HTTP 200自动扣费23次空崩溃 — Plenty-Jackfruit-218 · 2026-11-21
- Hy4 Flash 读 100 万 token:Mac Studio 44 分钟,DGX Spark 81 分钟 — AIFlow_ML · 2026-11-21
- local-ai-registry:每块 GPU 一份实测验证过的本地模型运行配方 — LiTianleli · 2026-11-21