TokenWing 把 60% MoE 专家卸载到 SSD,笔记本跑 120B 达 50 tok/s

Grawnch · reddit · 2026-11-19

开源推理引擎 TokenWing 及其 GUI 壳 Run My AI 发布,可将 MoE 模型超过 60% 的路由专家卸载到 SSD,同时保持较低流式延迟。用户实测成绩:

以上均未用 MTP。作者提醒项目处于早期,autotuner 尚未完善,建议自行调 flags;引擎只读不写,不会损耗 SSD 寿命。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →