Reddit 用户借 Strata 卸载方案在 64GB MacBook 跑大模型达 24 tok/s

New-Pressure-6932 · reddit · 2026-11-07

一位 M1 Max 64GB 用户分享本地部署经验:内存装不下 Qwen Flash Next 这类大模型,又觉得跑 30B 以下模型「性能过剩」,处于典型尴尬区间。借助开源项目 Strata(以及社区提到的 MoEShift),把模型部分卸载到 SSD,他在本地以约 24 tok/s 的速度运行 Qwen Flash Next,效果足以覆盖日常订阅 AI 的工作。

作者认为 MoE 专家卸载(offloading)路线值得更多研究,有望让前沿级开源模型在普通消费级硬件上跑起来,并推荐大家试试 Strata 与 MoEShift。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →