Tideway:统一内存池管理,消费级设备跑大 MoE 模型延迟降半
DukeUniversity · hf · 2026-11-19
杜克大学等团队发布 Tideway,让大型 MoE 模型在内存受限的消费级设备上高效推理。
- 背景:在本地 PC 部署大规模 MoE 模型可平衡隐私、API 成本与推理效率,但消费设备的 GPU 显存与主机内存都吃紧,海量专家权重被迫在 VRAM、RAM、SSD 之间溢出;现有系统把各层内存当作独立缓存,导致抖动。
- 核心思路:把主机 RAM 与 GPU VRAM 管理为统一内存池,结合适配 prefill/decode 不同访问模式的相位感知内存布局,并在专家分页下优化 CUDA Graph 执行。
- 效果:对齐前沿 MoE 模型的实测显示,相比最快基线平均取得 1.97× 端到端延迟、2.40× 首 token 时间(TTFT)、1.61× 每 token 输出时间(TPOT) 加速。代码已开源。
「Infra」频道最新
- AMD ROCm 10.2 发布:新增 18 款 Ryzen 笔记本本地 AI 支持并升级 vLLM/SGLang — AnushElangovan · 2026-11-19
- 消费级 NAND 现货价单月暴跌 20%,SSD 市场现缓解迹象 — SumitGup · 2026-11-19
- The Information 曝光:Nvidia 员工曾建议阿里借东南亚公司租用 A100 芯片 — basedjensen · 2026-11-19
- CriticNPU:机制化评估器让 NPU 设计空间探索模拟调用减半 — Yicheng He · 2026-11-19
- Qwen3.8-27B 编码模型移植 MLX,M5 Max 最高 73 tok/s — yb2698 · 2026-11-19
- 前 Siri 团队工程师揭秘:一套代码实现端云混合运行 Siri — jdluk87 · 2026-11-19