上交大开源 Specter：单卡也能高速跑 MoE 模型

上海交通大学团队发布面向 MoE 模型的推理系统 Specter，解决模型超出单卡显存时专家需卸载到主机内存、数据依赖路由导致 PCIe 传输处于关键路径的 I/O 瓶颈。核心思路是采用轻量量化草稿模型进行多步投机解码，配合量化与投机卸载技术加速推理，实测提速可达 1.88 倍，让单张显卡也能高效运行 MoE 大模型。

2026-10-21 ~ 2026-10-21 · 2 条相关

• 上交大发布 Specter：量化+多步投机卸载加速单卡 MoE 推理 — Wenfeng Wang · 2026-10-21
• Specter 系统让单卡跑 MoE:量化投机解码提速至 1.88 倍 — pmttyji · 2026-10-21