上交大发布 Specter：量化+多步投机卸载加速单卡 MoE 推理
Wenfeng Wang · hf · 2026-10-21
上海交通大学团队提出 Specter 推理系统，解决 MoE 模型超出单卡显存时的专家卸载瓶颈：数据依赖的路由使 PCIe 传输始终处于关键路径，造成严重 I/O 瓶颈。
Specter 将量化与投机解码结合，配合多步投机性专家预取，把专家权重从主机内存的加载延迟隐藏起来，从而提升单 GPU 上 MoE 推理的吞吐。
「Infra」频道最新
- 摩根士丹利：2027-2028 年 AI 基建支出近 3.4 万亿美元 — FinanceYF5 · 2026-10-21
- MiniMax 工程师实测 M3.1 Flash：快 1.9 倍的模型未必更快交付 — AI Engineer · 2026-10-21
- Training Factory 开源：QLoRA 微调 4-bit 量化模型省 GPU 成本 — textclf · 2026-10-21
- DeepSeek 开源 DeepInfer：单集群日处理 155 万亿 token，推理利润率超 80% — Latent Space · 2026-10-21
- Cerebras 曝光 CS-4 晶圆级背包:4 万亿晶体管 250 PFLOPS 算力 — GregoryDiamos · 2026-10-21
- Anthropic 自研 Scion 取代 Git：号称支撑每日 3 万次 monorepo 合并 — Capatain_CV · 2026-10-21