180B 模型跑进 16GB MacBook:MoE 专家卸载到 SSD,内存仅 9GB、快 14 倍
XiongChenyan · x · 2026-11-18
xiaochuanlee 团队发布新 demo:通过把 MoE 专家解耦到 SSD,可在 16GB 内存的 MacBook 上以可用的解码速度运行 180B 参数模型。关键做法是重新训练 router 来预测专家,峰值内存仅 9GB,速度比 llama.cpp 快 14 倍。XiongChenyan 转发称赞这种「万亿参数前沿模型的高效本地部署」潜力。
「Infra」频道最新
- 创业公司晒与黄仁勋合作经历:7分钟回信、入驻 NVIDIA 战情室,本地 AI 性能提升 9.6 倍 — bgmshana · 2026-11-18
- AMD 系 TensorWave 与 OpenAI 签 6 年 457MW 算力协议 — Beth_Kindig · 2026-11-18
- 英伟达蒸发万亿美元,资金或流向 Anthropic IPO — xiaosun86 · 2026-11-18
- NVIDIA 不再只是供应商:已成 AI 生态的投资者与客户 — sidjustice_ · 2026-11-18
- Polymarket 预测 Nvidia 财报超预期概率达 90% — Polymarket · 2026-11-18
- AI、制造业与住房都卡在电上:纽约活动探讨电网缺口如何自成市场 — ditzikow · 2026-11-18