Janas 与 Colibri 实测:迷你 PC 和 Colab L4 也能跑 80B 级 MoE 模型
Chrono_Tri · reddit · 2026-11-19
r/LocalLLaMA 用户实测两个低调的开源工具 Janas 和 Colibri,让低配设备跑超大 MoE 模型成为可能,并提问为何它们没火。
Janas
- 在 GMKtec M5 Plus(32GB 内存)迷你 PC 上跑 Qwen3-30B-A3B(JNS 版),几乎吃满内存但可运行;写小说和即时翻译效果出乎意料地好
- 配 Colab L4 时 GPU 占用为 0(只支持 Vulkan),但仍能流畅跑 Qwen3-Next-80B-A3B
- 需转换成 Janas 格式,转换速度尚可;长上下文(约 100K)的编码场景可能不行
Colibri
- 仅支持 CUDA,本地未测;在 Colab L4 上只用约 19GB 显存跑动 80B GGUF 模型,令人印象深刻
作者怀疑 100K 级上下文下 vibe coding 不适用,欢迎社区补充优劣与替代品。
「Infra」频道最新
- Anthropic IPO 前夜向 SpaceX 追加 10000 兆瓦算力需求 — RachelVT42 · 2026-11-19
- 网友称中国在轨道算力上领先:多颗卫星已在轨运行并投入 80 亿美元 — RachelVT42 · 2026-11-19
- KAIST 提出 PROLA 低秩适配方法,用于预测性时空天气降尺度 — MLVLab · 2026-11-19
- MIT QDA:用 LLM Agent 自动设计量化方案,64 GPU 小时超最强公开配方 — mit-han-lab · 2026-11-19
- WSJ:华尔街承诺为英伟达动员 5000 亿美元,至今一分未出 — GaryMarcus · 2026-11-19
- 绕过 PyTorch 直写 HIP 核:MiniMax H3 在 AMD R9700 上提速近 3 倍 — Apprehensive_Sky892 · 2026-11-19