Josh Wills 推数据管道工具:支持 JSONL/Parquet 与弹性确定性
josh_wills · x · 2026-10-07
前 Google 工程师 Josh Wills 发布其数据处理工具，主打两类能力：
- 弹性确定性（Elastic determinism）：让混合、分词、打包等在线数据准备管道可以像 Dbrx Mosaic 的 Streaming 一样，在运行中弹性变更 GPU 数量，MaxiBoether 负责了规模化实现。
- 开箱即用的主流开放格式支持：JSONL、MDS、LitData、Parquet；下一阶段将支持 training workload 相关的 vortexdata、LanceDB，可能还会接入 DuckDB。
所属事件:Josh Wills 在 Datology 开源新数据加载库(5 条相关)→
「Infra」频道最新
- Windows 现场 demo:编码任务被自动路由到本地模型,llama.cpp 已接入 Windows ML — ryanshrout · 2026-10-08
- exe.dev 详解超线程侧信道风险:用 core scheduling cookie 做团队级隔离 — davidcrawshaw · 2026-10-08
- NVIDIA 发布 LoGRA：强化学习训练显存最高省 45.7% — mark_k · 2026-10-08
- 6 卡 3090 无 NVLink 跑 Qwen3.8-Flash-Next:prefill 快 8-10 倍,长文解码快 2-3 倍 — flynth92 · 2026-10-08
- DeepMind Philipp Schmid:每个 Agent 都该有自己的云端沙盒 — AI Engineer · 2026-10-08
- GitHub 全球宕机,工程师吐槽「正在抢修」 — iannuttall · 2026-10-08