Specter 系统让单卡跑 MoE:量化投机解码提速至 1.88 倍

pmttyji · reddit · 2026-10-21

论文提出 Specter,一个面向 MoE 模型的推理系统,解决专家卸载到主机内存时的 PCIe I/O 瓶颈问题(数据依赖路由使传输处于关键路径)。核心方法:用轻量量化草稿模型在设备端高效运行,同时保留高保真的专家激活模式,提供对未来专家使用的精确多步前瞻,使运行时可在验证前预先组织专家搬运与执行。单请求推理下,TPOT 相较 SOTA 系统平均加速 1.50 倍,最高 1.88 倍,让显存受限的单 GPU MoE 推理在商用硬件上更实用。配图展示了传统逐 token 预取与 Specter 多步预取+并行验证的流水线对比。代码开源,论文已被 ASPLOS 接收。