Hark 分享基于 SGLang 与 KubeRay 的多模态数据清洗与 GPU 编排实践
tianyin_xu · x · 2026-11-05
LMSYS 组织的分享序列第 8 期,Hark 实验室的 Kai-Hsun Chen 与 Cindy Zhang 讲解如何在多模态数据清洗(curation)场景中使用 SGLang 与 KubeRay。
分享涵盖三个要点:多模态数据的规模化清洗流程、基于 Ray 的 GPU 编排实践,以及如何加快推理 worker 的启动速度。对做多模态训练数据管线和推理服务运维的团队有参考价值。
「Infra」频道最新
- 开发者放话：低于 256GB 显存的 GPU 不值得买，价格将下跌 — AIFlow_ML · 2026-11-05
- int8-vllm 重写服务栈：4x MI100 跑 27B 模型超 1000 tok/s — 1ncehost · 2026-11-05
- 美国经济仅 18% 能耗是电力，交通电气化率只有 1% — NinaDSchick · 2026-11-05
- 业内人士算账：15-25% 在建算力存疑，Anthropic IPO 或遭估值砍价 — sytelus · 2026-11-05
- hxiao 印证「推理过拟合」:Together Compiler 正是按下游任务实时爬坡 TPS — simran_s_arora · 2026-11-05
- SGLang Summit 11 月旧金山开幕：2000+ 工程师，NVIDIA/AMD/阿里等公开生产实战 — ying11231 · 2026-11-05