llama.cpp 新 PR 将共享专家融合进 MMVQ,MoE 推理提速
jacek2023 · reddit · 2026-10-03
开发者 am17an 向 ggml-org/llama.cpp 提交 Pull Request #29184,将 MoE 模型中的共享专家(shared experts)融合进 MMVQ 量化路径,以加快 MoE 架构的推理速度。作者指出该优化并非对所有 MoE 模型通用,目前主要对 Qwen 35B A3B 这类包含共享专家的架构生效。对在本地部署量化 MoE 模型的用户来说是一个值得关注的性能改进。
「Infra」频道最新
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19
- 腾讯 220B Hy4-flash 量化版压到 49GB,64GB 显存即可跑 — gladkos · 2026-11-19
- 开源 GPU 资源管理器 Berth:多 GPU 调度、引擎停驻与显存防抢占 — Distinct-Pie2389 · 2026-11-19