vLLM-Omni 实测：4 卡 B300 上 2048² 图像生成仅 0.63 秒
vllm_project · x · 2026-11-10
vLLM 项目公布 vLLM-Omni 图像生成与编辑在不同 GPU 上的推理成绩（SP4 / text-encoder TP4 配置）：
- 4× NVIDIA B300（BF16）：2048×2048 生成 0.63 秒；单参考图编辑端到端 0.85 秒
- 4× NVIDIA H200：生成 0.88 秒；参考图编辑 1.35 秒
- 4× RTX PRO 6000（PCIe，BF16）：生成约 1.6 秒；参考图编辑约 2.5 秒
数据针对 MiniMax-H3-Image 模型，展示了 vLLM-Omni 在多卡推理栈上做高分辨率图像生成的实际性能水平。
所属事件:vLLM-Omni 与 MiniMax-H3-Image 加速 2048² 生图(2 条相关)→
「Infra」频道最新
- 分析师称上周半导体抛售过头：订单健康、云巨头支出未变 — BenBajarin · 2026-11-11
- KubeRay 正式加入 CNCF,成为 Ray 上 Kubernetes 的标准方案 — PyTorch · 2026-11-11
- Hugging Face 推出本地 AI 进阶课 301,主讲模型量化 — huggingface · 2026-11-11
- TPU v7 上 816B MoE 单机 megakernel 跑出 433 tok/s，成本优于 GB200 — PyTorch · 2026-11-11
- NPU已占新机三分之一:本地AI会杀死Akamai推理云吗 — pdamodaran · 2026-11-11
- AWS 官方教程:用五步搭建 Bedrock 调用可观测数据湖 — AWS ML Blog · 2026-11-11