Transformers PR 用 SSD 流式加载 MoE 专家,32GB Mac 跑 180B 模型
jomic01 · reddit · 2026-11-20
Transformers PR 50717 新增 expertsoffload 选项:把 MoE 专家权重留在 SSD 上,只按 router 选中的专家按需加载。
- 在 M5 MacBook 上,decode 速度与 Strata 相差约 6% 以内,prefill 略快,图表给出具体数字。
- PR 尚未合并,API 仍在讨论中。
- 作者表示对日常使用编码 agent 来说仍然太慢。
来源:Hugging Face 博客 moe-expert-streaming。
「Infra」频道最新
- IREN 年内大跌之谜:150亿美元资本开支撞上融资缺口 — tengyanAI · 2026-11-20
- Anthropic 三天在 AMD MI355X 上跑通 Claude prefill,CUDA 优势受质疑 — AccBalanced · 2026-11-20
- 客户月省 90%:GitHub Actions 上 20 分钟任务在 Celesto 只跑 7 分钟 — aniketmaurya · 2026-11-20
- OpenSSL 曝 CVSS 9.8 缓冲区溢出漏洞,EVP_EncodeBlock 受影响 — JacobHenner · 2026-11-20
- Anthropic 估值 2 万亿美元遭质疑:前 9 个月净亏损 1040 亿 — deliprao · 2026-11-20
- 一个 prompt 的物理之旅:新视频拆解 AI 基础设施经济学 — soumitrashukla9 · 2026-11-20