开源 Big-MoE-Small-Box:单张 24GB 卡跑 361B DeepSeek 与 321B GLM
casper_hansen_ · x · 2026-11-08
casperhansen 开源了其本地推理仓库 Big-MoE-Small-Box(Apache-2.0/MIT),在一张 24GB 显卡 + 64GB 内存 + NVMe 上以 OpenAI 兼容接口服务远超显存容量的 MoE 模型:GLM-5.3-Flash(321B,EXL3 3.05 bpw,125GB)与 DeepSeek-V4.1-Flash(EXL3 2.25 bpw,361GB,含 203GB Engram 表),基于 exllamav3 1.6.6。核心思路:每个 token 只激活少数路由专家(GLM 8/288,DeepSeek 6/384),因此把占权重绝大部分的路由专家按层打包成定长记录文件,用 ODIRECT 从 NVMe 直读,按需从显存/内存/NVMe 三层供给。硬件清单:二手 RTX 3090、64GB DDR5、WD SN850X、Ryzen 5 7600X 等。作者称可直接照抄复现"家庭主权 AI"。
「编程与Agent」频道最新
- 创业团队晒 AI 编程提效:人均生产力指数涨到 371 — matanSF · 2026-11-08
- 爆传的 Claude Code 提示词：让 AI 自建 skills 越用越顺手 — Aiden_Tech_Ai · 2026-11-08
- 语音智能体基准 DECIDE 发布:1081 段真实通话、32 项决策任务实测 20 个模型 — Aiden_Tech_Ai · 2026-11-08
- Karpathy 用 Claude Code 三分钟做出 TristanTube：4.7 万精选科技视频 — mhdfaran · 2026-11-08
- Coinbase CEO 揭多 Agent 工作流:一人指挥多个 Lead Agent 单队列审批 — petrusenko_max · 2026-11-08
- 基于 Hindsight 构建 OneContext:给 AI 编码助手加团队级共享记忆 — kumar_2005 · 2026-11-08