180B 模型跑进 16GB MacBook:MoE 专家卸载到 SSD,内存仅 9GB、快 14 倍

XiongChenyan · x · 2026-11-18

xiaochuanlee 团队发布新 demo:通过把 MoE 专家解耦到 SSD,可在 16GB 内存的 MacBook 上以可用的解码速度运行 180B 参数模型。关键做法是重新训练 router 来预测专家,峰值内存仅 9GB,速度比 llama.cpp 快 14 倍。XiongChenyan 转发称赞这种「万亿参数前沿模型的高效本地部署」潜力。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →