vLLM 用 NVDEC 卸载视频解码,8×H100 吞吐翻倍以上
vllm_project · x · 2026-09-22
vLLM 集成 PyNvVideoCodec，解决大规模视频标注的 CPU 瓶颈
- 此前 vLLM 处理视频数据只能靠 CPU 侧 OpenCV+FFMPEG 解码；视频打标输出短（100-200 token），解码占比极高，2-4 卡就能把 CPU 打满
- 集成 PyNvVideoCodec（NVIDIA 硬件解码器 NVDEC 的 Python 接口）后，解码负载从 CPU 卸载到 GPU，在 8×H100 上吞吐提升 2 倍以上，CPU 瓶颈消除，可线性扩展到 8 卡
- 典型场景：自动驾驶训练视频描述、可搜索的元数据生成；该能力随 CUDA 版 vLLM 一起发布
「Infra」频道最新
- 30步×每步2.5万rollout的异步RL训练配置曝光 — willcb · 2026-09-22
- Lisa Su 执掌 AMD 十一年：市值从 20 亿涨到 1 万亿美元 — xiaosun86 · 2026-09-22
- 黑石今年砸近千亿美元于数据中心,称 AI 投资热并非互联网泡沫重演 — JOBhakdi · 2026-09-22
- Modular 开源 LLM 推理手册：20+ 交互可视化覆盖全栈优化 — carrycooldude · 2026-09-22
- Naveen Rao All-In 演讲：AI 极低效、算力缺电、1945 年来计算机都造错了 — NaveenGRao · 2026-09-22
- GKE Pod snapshots 将 AI 推理冷启动缩短 89%,70B 模型 37 秒加载 — rseroter · 2026-09-22