Transformers PR 用 SSD 流式加载 MoE 专家,32GB Mac 跑 180B 模型

jomic01 · reddit · 2026-11-20

Transformers PR 50717 新增 expertsoffload 选项:把 MoE 专家权重留在 SSD 上,只按 router 选中的专家按需加载。

来源:Hugging Face 博客 moe-expert-streaming。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →