24GB MacBook Air 跑 Q2 量化大模型：SSD 流式专家达 49 t/s
Inside-Pen-8395 · reddit · 2026-10-25
作者在 24GB 内存的 MacBook Air M5 上，用 Splash 1.4.0 加自研 fork（约 800 行改动，全部由环境变量开关控制）运行 Qwen3.8-Flash-Next 的 ISTA GSQ-RCO Q20 量化版，并配 Flash-Next-DFlash2 投机解码（draft 接受率：代码 70%、工具调用 80%），支持 256K 上下文。
核心技巧是专家流式加载：24,576 个专家槽中只有约 6,800 个（28%）常驻 8.8 GB 显存/内存，其余按需从 SSD 读取。
性能表现：
- 原版 Splash 平均 28.8 t/s；加缓存感知路由（保护 top-4 专家、把第 5–10 位选择偏向已驻留专家）后提升至 43.1 t/s；再加 desk-first 重叠（GPU 先算驻留专家、缺失专家边读边算，输出逐 token 一致）后达到 48.8 t/s，相比原版提升约 70%。
- 真实 agent 场景约 45 t/s，且提示缓存零丢失（缓存保存在磁盘，每轮只读新增部分）。
- 冷启动 prefill：32K token 62.4 秒（522 t/s），63K token 130.4 秒（485 t/s）。
质量代价很小：20 道 LiveCodeBench 上原版 17 分、fork 16 分（单次运行，±1 属噪声）；agent 与长文档测试结果相同。实验中的 lazy vision（仅图像请求时加载 864 MB 视觉塔）可省下 656 个专家槽和 5.5% 的解码性能损失。作者表示对个人使用而言，这比可运行的 Tiel 量化版好得多、也比 27B 模型快得多。
「Infra」频道最新
- 开源自托管 PaaS Coolify 破 6.3 万星:Vercel/Heroku 平替 — coollabsio · 2026-10-25
- Peter Diamandis:SpaceX 每月上线20万颗英伟达芯片,或占2027新增AI算力1/4 — victor_explore · 2026-10-25
- AMD 携手沙特 HUMAIN 推出「AI in a box」加速当地企业 AI 采用 — HUMAIN · 2026-10-25
- 自组 6 卡 RTX 6000 工作站:供电、噪音与电费的真实账 — TheZachMueller · 2026-10-25
- 谷歌芬兰违规砍伐25万棵树建数据中心，被勒令停工 — alex_verem · 2026-10-25
- 奥斯陆团队用开源数据重建城市电网完整拓扑，破解公用事业保密地图 — anselm · 2026-10-25