Qwen3.8-Flash-Next 仅用 37GB 显存运行全专家
EyalToledano · x · 2026-08-29
作者分享了一项针对 Qwen3.8-Flash-Next 模型的 MoE 推理优化突破。他将 60% 的专家权重存储在磁盘上，并按需流式传输到内存（类似 n-gram streaming 技术）。
实测显示，在使用全部专家（无剪枝）的情况下，仅需 37GB 内存即可在 M4 Max 上以 40 tok/s 的速度进行解码。
所属事件:Qwen3.8-Flash-Next 低显存推理优化方案引热议(4 条相关)→
「Infra」频道最新
- 黄仁勋谈主权 AI：芯片只是工具，数据与知识才命脉 — rohanpaul_ai · 2026-10-15
- 昇腾 CANN 将直播 950 超节点预训练 DeepSeek V4 参考实践 — teortaxesTex · 2026-10-15
- Cloudflare 数据：Yandex 数据中心遇袭后，恶意机器人只是换了网络 — banteg · 2026-10-15
- OpenAI 英国基建团队扩招:端到端负责可靠性难题 — whoiskatrin · 2026-10-15
- Rust 开源 XERJ 一键索引全栈数据,Agent 检索比 grep 省 40 倍 token — xerj-org · 2026-10-15
- TokenSpeed 冲上 GitHub 热榜:主打 Blackwell/Rubin 的极速 LLM 推理引擎 — lightseekorg · 2026-10-15