Reddit 用户借 Strata 卸载方案在 64GB MacBook 跑大模型达 24 tok/s
New-Pressure-6932 · reddit · 2026-11-07
一位 M1 Max 64GB 用户分享本地部署经验:内存装不下 Qwen Flash Next 这类大模型,又觉得跑 30B 以下模型「性能过剩」,处于典型尴尬区间。借助开源项目 Strata(以及社区提到的 MoEShift),把模型部分卸载到 SSD,他在本地以约 24 tok/s 的速度运行 Qwen Flash Next,效果足以覆盖日常订阅 AI 的工作。
作者认为 MoE 专家卸载(offloading)路线值得更多研究,有望让前沿级开源模型在普通消费级硬件上跑起来,并推荐大家试试 Strata 与 MoEShift。
「Infra」频道最新
- 曝英伟达要求东南亚云伙伴客户接入 AI 芯片位置追踪计划 — nmasc_ · 2026-11-07
- Starlink 已接入巴西最大铁路货运商 500 多台机车与车厢 — elonmusk · 2026-11-07
- 马斯克称晶圆仅 20% 时间在做有效加工,特斯拉拟自建 fab 重构芯片制造 — XFreeze · 2026-11-07
- Together Compiler 上线:智能体持续编译内核,推理提速最高近半 — togethercompute · 2026-11-07
- llama.cpp 合入 Kimi K3.1 Pro 支持,本地跑大模型成真 — jacek2023 · 2026-11-07
- Reactor 创始人发「实时宣言」:实时 AI 将成基础设施级命题 — smtabatabaie · 2026-11-07