纯 C 推理引擎 Janas 从 SSD 流式加载 MoE,32GB 笔记本跑 80B 达 37 tok/s
petrusenko_max · x · 2026-10-14
Janas 是一个纯 C 推理引擎,通过把 MoE 专家权重从 SSD 流式加载,运行超过内存容量的模型。
- 基准:在 32GB 内存的笔记本上跑 Qwen3-Next-80B(权重 48GB),达到 37 tok/s(无 draft 模式 24 tok/s),而 llama.cpp 仅 2.8 tok/s。
- 在对比的全部 13 个 Q4KM 量化模型上,Janas 速度均快于 llama.cpp。
项目已开源(GitHub prabanta-dev/janas,294 star),对端侧跑大模型是相当激进的 IO 优化方案。
「Infra」频道最新
- 应用材料投资答疑:推理专用加速器或无需 12 层 HBM — BenBajarin · 2026-10-14
- Liquid AI 实测:B300 GPU 高并发下输出超 2.1 万 tokens/s — JosephJacks_ · 2026-10-14
- 分解量化术让 1-bit Qwen3.8 MMLU-Pro 从 29% 飙至 61.5% — udmrzn · 2026-10-14
- Prime Intellect 驻留者开发 HINT4:让无 FP4 的老卡原生跑 NVFP4 量化 — secemp9 · 2026-10-14
- VigenFlow 让 AMD NPU 无独显本地生图，FLUX.1 约 9 秒一张 — Kelsey_test · 2026-10-14
- 5090 用户求免费动作迁移方案，不想付费用 Higgsfield — Quirky_Fig3927 · 2026-10-14