Netflix 采用 Kueue 替代内部系统,加码 Kubernetes 批处理
rseroter · x · 2026-08-13
Google 工程师指出,批处理在当今的大规模计算中依然占据重要地位。自四年前 Google 协助在 Kubernetes 社区推出开源批处理任务排队控制器 Kueue 以来,该技术迎来了重大采用进展。
流媒体巨头 Netflix 近期宣布采用 Kueue,以替代其自研的批处理调度方案。Kueue 旨在将批处理任务作为一个整体进行排队管理,原生支持 Kubernetes Job API,并提供了用于集成自定义批处理 API 的钩子。
该工具的核心能力在于:
- 配额与预算控制:有效管理多租户环境下的资源使用上限与云开销。
- 公平共享:允许将空闲租户的配额动态、公平地分配给活跃租户,最大化资源利用率。
- 灵活调度:支持跨不同架构(如不同型号的 GPU 或 CPU)和配置模式的异构资源进行灵活任务分配。
「Infra」频道最新
- 开发者在 Colab 持续预训练 Luganda 语小模型,8 小时跑到 41% — weskambale · 2026-10-16
- 黄仁勋披露:每 GPU 年收约数千美元软件费,成 NVIDIA 重要收入线 — rohanpaul_ai · 2026-10-16
- 开发者亲测:几万块 V100 本地部署 DeepSeek,不如直接订阅 Claude — lxfater · 2026-10-16
- 公开喊话 neocloud:我愿买 3 万美元 GPU 算力,给个折扣吗 — Sauers_ · 2026-10-16
- 拿到新硬件就开跑:垃圾佬第一时间本地部署模型 — lxfater · 2026-10-16
- Together AI 提出 Score Centering:量化推理下 RL 训练不再崩 — nrehiew_ · 2026-10-16