vLLM 用 NVDEC 卸载视频解码,8×H100 吞吐翻倍以上
vllm_project · x · 2026-09-22
vLLM 集成 PyNvVideoCodec，解决大规模视频标注的 CPU 瓶颈
- 此前 vLLM 处理视频数据只能靠 CPU 侧 OpenCV+FFMPEG 解码；视频打标输出短（100-200 token），解码占比极高，2-4 卡就能把 CPU 打满
- 集成 PyNvVideoCodec（NVIDIA 硬件解码器 NVDEC 的 Python 接口）后，解码负载从 CPU 卸载到 GPU，在 8×H100 上吞吐提升 2 倍以上，CPU 瓶颈消除，可线性扩展到 8 卡
- 典型场景：自动驾驶训练视频描述、可搜索的元数据生成；该能力随 CUDA 版 vLLM 一起发布
「Infra」频道最新
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12
- dhh 发布 Omarchy 4.6：Tailscale 内共享本地 AI 模型推理 — alexcovo_eth · 2026-11-12