开发者自制 llama.cpp 分支，让 MoE 模型支持专家数量扩展
Specific-Tax-6700 · reddit · 2026-09-07
作者借助 GLM 4.5/5.3 Flash（原文写 Glm 5.3 flash）为 llama.cpp 写了一个自定义分支，支持对 MoE 模型做专家扩展，目前仅在 Metal 上测试过，效果优于其之前的 DS4 版本。
作者开源了分支并提供了文档，希望收集其他平台与不同模型上的测试反馈。
- 项目文档：moe-expansion 分支
所属事件:开发者自制 llama.cpp 分支，为 MoE 模型实现专家扩展(2 条相关)→
「Infra」频道最新
- AI 圈新梗:刷牙关水龙头,「为数据中心省水」 — EigenGender · 2026-09-07
- AMD MI355X 在 AgentX 上每美元 token 数击败 B300 — AccBalanced · 2026-09-07
- RandKV 开源:把 Random Attention KV 缓存驱逐策略做成 pip 一键可用 — atease01 · 2026-09-07
- 为无网村庄置办本地 LLM:5 千美元预算选卡求建议 — Potential_Low_1183 · 2026-09-07
- 靠 ChatGPT 补贴跑 bot 两天仅赚 $2.60,作者担心断供 — TheMoonMidas · 2026-09-07
- NeurIPS 教育赛道推出投机解码交互式教程,讲透何时无损 — Madisonkanna · 2026-09-07