单张 24GB 跑 35B MoE:SSD 流式推理引擎 Edge0 达 20 token/s
Edge0 · hf · 2026-09-17
Edge0 是一个流式 MoE 推理引擎，解决消费级硬件跑大 MoE 的内存墙问题：35B 级模型 4-bit 仍需 19.5GB 权重，而朴素的 SSD offload 无效——第 N+1 层专家选择依赖第 N 层输出，读取无法提前隐藏。
- 核心：prerouter——每层一个预测头提前一个 token 预测下一层的路由，预测结果直接作为路由使用，预取的专家集合与实际路由完全一致，零丢弃
- 恢复 LoRA：用未合并的 recovery LoRA 补回 int4 量化和路由替换损失的质量
- 成绩：单张 24GB 显卡、峰值活跃内存仅 3GiB 内，35B MoE 达 20 tok/s，五个公开基准上与 fp16 teacher 差距仅几个百分点
- 8B 档位同框架可跑；框架、checkpoint 与适配器全部开源
「Infra」频道最新
- 美众院通过两党法案:数据中心须承担更多电网成本 — Polymarket · 2026-09-17
- 开发者用 24GB 显存训练 2B 开源模型,借 7B OLMo 嵌入冷启动 — NineThreeTilNow · 2026-09-17
- 应用材料拟向印度投资 50 亿美元，配合印度加码芯片扶持 — pstAsiatech · 2026-09-17
- 云上跑 AI 成本可达本地部署 10-20 倍,专家提醒按用途选架构 — DavidLinthicum · 2026-09-17
- 华为称 AI 芯片供不应求，拟 2027 年推两款新 AI 芯片 — sunychoudhary · 2026-09-17
- 71% 美国人反对在本地建 AI 数据中心，反对率超核电站 — DavidLinthicum · 2026-09-17