美团自研推理框架:20ms时延下吞吐达SGLang 10倍,MFU 67%

美团技术团队 · wechat · 2026-10-15

美团技术团队针对搜推场景SLM(0.51B小模型)的在线推理,重新设计了执行路径。

问题:搜推SLM负载是“有界生成”——Prefill-Only或固定次数decode的BeamSearch,输入规模与迭代次数都有上界;而SGLang/vLLM为开放式生成设计,其调度与优化在此场景是负向优化,请求到达严重偏离泊松分布导致GPU利用率低但耗时高。
架构:以静态DAG组织完整业务请求作为调度、测量与容量规划边界;离线用AOTInductor把模型编译为AOTI产物,在线C++ Runtime负责调度、资源管理与并发,消除Python调度开销。
优化手段:PackedPrefill只算有效Token、请求内shared-prefix K/V共享、固定BeamSearch编译、选择性FP8矩阵计算;因跨请求prefix命中率极低,不维护跨请求PrefixCache。
结果:平均端到端时延<20ms、P99约70ms下,Prefill-Only有效MFU 67%,吞吐约SGLang 10倍(0.6B模型约1500 sample/s);短prompt BeamSearch MFU 41%,约SGLang 6倍(约300 request QPS)。
落地:已在美团搜索意图分流、相关性判断、生成式召回等场景实验显著,支撑全量推送。

「Infra」频道最新