2500 美元单卡方案把 328GB GLM-5.3-Flash 压到 125GB 本地跑
casper_hansen_ · x · 2026-11-05
casperhansen 分享一套约 2500 美元的本地推理主机配置：二手 RTX 3090（24GB）+ 64GB DDR5-5600 + 二手 SN850X + Ryzen 5 7600X，宣称可跑 Qwen3.8 27B 约 150 tokens/s、DeepSeek V4.1 Flash 约 15 tokens/s、GLM 5.3 Flash 约 10 tokens/s，获得「无限私有 token」。
配套开源项目 Big-MoE-Small-Box：把 328GB 的 GLM-5.3-Flash 量化到 125GB（3-bit，其中路由专家占 117GB），在单张 24GB GPU + 64GB RAM + NVMe 上以专家卸载与调度系统运行，速度 7-10 tokens/s、支持最高 512k 上下文。专家分三层存储：VRAM 缓存、pinned RAM、NVMe 上用 ODIRECT 打包存储；每层每 token 由调度器决定被选中的 8/288 个专家在 VRAM、从 RAM/NVMe 拷入、还是在 CPU 上用 AVX2 执行。该项目基于 0xSero 的 glm-flash-lite 改进。瓶颈在 SSD 读速，作者称升级 PCIe 5.0 SSD 后有望到 25 tokens/s。
所属事件:2500 美元本地装机实测：27B 模型 150 tokens/s，GLM-5.3-Flash 可跑(2 条相关)→
「编程与Agent」频道最新
- SurrealDB 4 发布:主打为每个 Agent 提供数据库与记忆 — mattturck · 2026-11-05
- Phil Schmid 公开 gemini-api-cli Skill 链接,语音测试流程可开箱即用 — _philschmid · 2026-11-05
- Phil Schmid 分享用 Chrome 虚拟音频给 Agent 测语音功能的妙招 — _philschmid · 2026-11-05
- Gemini CLI 语音测试完整 Prompt 模板:让 Agent 无麦跑通语音功能 — _philschmid · 2026-11-05
- 开发者表态:低风险应用交给 AI,核心产品每行 PR 仍亲自审 — feregri_no · 2026-11-05
- HumanLayer 被 Factory 收购，两位创始人携多人编码 Agent IDE 加盟 — annbordetsky · 2026-11-05