DatologyAI 生成 12 万亿合成 token,四个瓶颈的工程解法全公开
AI Engineer · youtube · 2026-10-03
AI Engineer World's Fair 2026 演讲,DatologyAI 联合创始人兼 CTO Bogdan Gaza 分享万亿级合成数据流水线的工程经验:
- 背景:互联网可用文本约 30 万亿 token,前沿预训练需要更多;他们近期一次任务生成了约 12 万亿 token,覆盖网页、数学与代码。
- BeyondWeb 配方:基于 rephrasing(改写)的合成数据方法,种子化改写优于让模型从零生成。
- 技术栈演进:从 Slurm/Kubernetes 混合架构迁移到基于 EKS on HyperPod 的统一 Ray + KubeRay + vLLM 流水线。
- 四大瓶颈与解法:
- S3 元数据批量抓取:9-11 天缩短到约 2 小时;
- GPU 故障:合理分区 + checkpointing 保证可恢复;
- 跨集群 CPU/GPU 联合调度;
- vLLM 参数扫描带来约 40% 推理吞吐提升。
完整章节与 BeyondWeb 论文链接见原视频。
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19