vLLM推理优化演进

ariG23498 · x · 2026-07-08

帖子回顾了 vLLM 项目的一段演进：新模型加入后，作者先把它接入 transformers，再接入 vLLM 以便优化推理。随后又通过 torch.fx、ast 等方式做图模式识别和代码级优化，让模型能在 vLLM 引擎里获得更好的推理效果。