Betelgeuse 让低端显卡跑超大 MoE 模型并公开基准

Reddit 用户 zyxciss 发布 llama.cpp 分支 Betelgeuse（bel-cli/bel-server），在 RTX 3060 加 16GB 内存的配置下以全精度运行 68GB 的 Qwen MoE 模型，达到 22 tok/s。随后作者回应了社区关于 2-bit 量化过低、单条内存测试不典型的质疑，升级 victim-cache 后用 4-bit MoE 跑出 24 tok/s，并公开基准数据，计划向上游提交 PR。

2026-10-31 ~ 2026-11-01 · 2 条相关

• RTX 3060+16GB 内存跑出 22 tok/s：Betelgeuse 全精度运行 68GB Qwen MoE — zyxciss · 2026-10-31
• RTX 3060+16GB 内存跑 4-bit MoE 达 24 tok/s，Betelgeuse 公开基准数据 — zyxciss · 2026-11-01