TokenWing 把 60% MoE 专家卸载到 SSD,笔记本跑 120B 达 50 tok/s
Grawnch · reddit · 2026-11-19
开源推理引擎 TokenWing 及其 GUI 壳 Run My AI 发布,可将 MoE 模型超过 60% 的路由专家卸载到 SSD,同时保持较低流式延迟。用户实测成绩:
- Ling 3.0 Flash 120B(MXFP4):12GB 显存 + 32GB DDR5 笔记本,解码 45-50 tok/s,prefill 900 tok/s
- Qwen 3.8 Flash Next(3.5bpw):8GB 显存 + 32GB DDR5,解码 35-40 tok/s,prefill 600-700 tok/s
- Flint 40B(UD-Q4KXL):24GB DDR4 + 4GB 显存,解码 30 tok/s,prefill 400 tok/s
以上均未用 MTP。作者提醒项目处于早期,autotuner 尚未完善,建议自行调 flags;引擎只读不写,不会损耗 SSD 寿命。
「Infra」频道最新
- 一张 4090 跑起个人 AI 助手:开源 Linger 配 PolyStrata,本地跑 MoE 快 5 倍 — lxfater · 2026-11-19
- Embedl 优化 Jetson Thor:自动驾驶规划延迟从 604ms 降至 83ms — AIFlow_ML · 2026-11-19
- NVIDIA cuda-tile 深坑:-O3 下 LoopSplit 溢出致 GPU 静默算错 — vxnuaj · 2026-11-19
- 算力金融化加速:B200 期权、Compute Forwards 与 4500 万美元融资 — 0xJeff · 2026-11-19
- AI 循环融资惊动美联储:七大 AI 公司负债将超 8000 亿美元 — SumitGup · 2026-11-19
- 黄仁勋回应WSJ质疑:握手协议可撬动5000亿美元承诺 — basedjensen · 2026-11-19