vLLM-Omni实测MiniMax H3:八卡B300生成10秒MP4仅耗时8.7秒
机器之心 · wechat · 2026-09-13
vLLM-Omni 团队详解了 MiniMax H3 音视频联合生成模型的服务级优化。H3 的推理链路包含 Qwen3-VL 编码器、音视频联合 DiT、独立 VAE、跨进程传输与 H.264/AAC 封装,只优化 DiT 不够,需要全流水线系统优化。在八卡 B300 上,FastH3 将 49 次 DiT 前向压缩到 4 次,生成一个 10.125 秒的完整 MP4 仅需 8.6788.710 秒,达到完整响应的实时(RTF≤1)。
基础线用无损优化:vLLM-Omni 通过 TRTLLMATTN、FastUlysses 对称内存通信、融合 DiT 算子(RMSNorm+RoPE、SwiGLU)、八卡并行 VAE 解码和 GPU 端直出 uint8 帧等手段,相对 Diffusers 降低 30.8% 时延(1.445 倍加速)。文章还给出扩展路径:分布式逐层卸载(DLO)可降 37.5% HBM、在线 FP8 量化峰值显存降 38.9%、SAGE+Skip-Softmax 注意力加速 1.237 倍等,并严格区分了无损优化与有损加速两条证据线。
「Infra」频道最新
- 台积电拟明年 CoWoS 先进封装涨价至多 20%，AI 芯片需求持续火爆 — Beth_Kindig · 2026-10-31
- effect-harness + Cloudflare：agent 循环自由拆到多台 VM 上跑 — samgoodwin89 · 2026-10-31
- 谷歌 Project Suncatcher 太空 TPU 首次在轨运行并返回结果 — sundarpichai · 2026-10-31
- Together AI 推出 Post-Training 平台:Agentic RL 训练托管服务 — togethercompute · 2026-10-31
- General Compute 融资 1 亿美元投推理算力，CoreWeave 股价同周创新低 — YvesMulkers · 2026-10-31
- 分析师警告 AI 算力「越买越涨」正反馈环,Kioxia 闪存涨价预警引发闪崩 — bookwormengr · 2026-10-31