BigMoeOnEdge 实测:8GB 显存跑 35B MoE 达 35 tok/s,超 Strata 与 colibri
dai_app · reddit · 2026-11-16
开源项目 BigMoeOnEdge(863 stars)让任意 llama.cpp 能加载的 MoE GGUF 模型跑在低配设备上,无需重打包:支持 NVIDIA/AMD/Intel/Mac/手机/CPU,覆盖 Windows/Linux/macOS/Android/iOS,输出与 llama.cpp 一致,--auto 自动配参。实测数据:8GB 卡跑 Qwen3.6-35B 约 35 tok/s(colibri 约 23,Strata 在 16k 上下文起不来);长 prompt 首 token 5 秒(Strata 14 秒,colibri 近 2 分钟);16GB MacBook 上同模型约 20 tok/s;125B 模型 10 tok/s(Strata 约 7)。在 Strata 专调的双 5060 Ti 上仍略逊(1.3x)。repo 与 benchmark 日志公开,征集 8-32GB 显卡数据。
「Infra」频道最新
- 一个钱转一圈:NVIDIA 投 OpenAI 300 亿,再靠卖卡把利润收回来 — Qweskj · 2026-11-16
- 用 PageRank 分析近 2000 篇报道，追查 Nvidia 舆情风暴的传播路径 — dotey · 2026-11-16
- Go.AI 疑花500万美元购域名， disclosing 99.5%准确率与90万月活数据 — IgorGabrielan · 2026-11-16
- 美商务部长主张收窄 AI 芯片出口管制,家族企业业务受利益冲突质疑 — nordicinst · 2026-11-16
- 给每个用户开独立云端 agent 机器:唤醒等待怎么破? — SnooPuppers9163 · 2026-11-16
- OpenAI 年收入约 130 亿美元却承诺 1.15 万亿算力支出 — Qweskj · 2026-11-16