端侧流式 MoE 框架 Edge0 开源:35B/8B 双档模型可跑在手机和机器人上
EAccelerate_42 · x · 2026-09-10
Edge0 正式开源,首发 35B 与 8B 两个模型,并附带可在本地运行的 runtime 与推理代码,目标设备覆盖手机、笔记本、PC 和机器人,主打快速、私密、完全端侧。
框架是一个开源流式 MoE 推理框架,核心配方为 SSD expert offload + Recover-LoRA + prerouter 路由预测,后端按设计解耦:当前 MLX 后端跑在 Apple Silicon 上,CUDA 等其他平台可接入同一套核心抽象。
- edge0-35b(A3B preview):4-bit、40 层、256 专家,prerouter K=4
- edge0-8b(A1B preview):4-bit、24 层、128 专家,prerouter K=8
- 每个 checkpoint 与 LoRA 适配器、prerouter 头作为整体端到端发布
目前项目刚上线,GitHub 88 星。
所属事件:端侧流式 MoE 框架 Edge0 开源(2 条相关)→
「Infra」频道最新
- 印度数据中心将扩至 6GW，西孟加拉邦拟开放 18 个工业园用地 — HimanshiET · 2026-09-10
- DGX Spark 实测:Ling-3.0-flash 长上下文下 llama.cpp 反超 vLLM 六倍 — niacolhealth · 2026-09-10
- vLLM 推理技术 meetup 落地班加罗尔，AMD/Red Hat 联办 — dhruv2038 · 2026-09-10
- NNSight 0.8 发布:大模型可解释性采集速度远超 vLLM-Lens — gsarti_ · 2026-09-10
- 马萨诸塞州拟要求 25MW 以上数据中心配清洁能源或缴保护基金 — rohanpaul_ai · 2026-09-10
- Meta 与 AWS 达成数千万 Graviton 核心协议,主攻 agentic AI 算力 — bookwormengr · 2026-09-10