单卡 V100 实测:同权重换推理引擎,速度差最高 5 倍
PuzzleheadedArm3732 · reddit · 2026-11-23
一位开发者在单张 Tesla V100 32GB 上,用相同权重、相同提示词实测多款推理引擎,跑完数百万 token 后得出结论:引擎差异巨大,最高相差 5 倍。
关键数据(生成速度 tokens/s):
- Qwen3.8-27B(dense):llama.cpp 33 → NInfer+MTP 64(×1.9)
- Qwen3.6-35B-A3B(MoE,3B 激活):llama.cpp 98 → llama.cpp+MTP 145(×1.5),NInfer 129
- Qwen3.8-Flash-Next(120B MoE,专家放系统内存):llama.cpp 16 → Strata+MTP 80(×5.0),Lapilli 61(×3.9),NInfer 41(×2.6)
附加发现:更快的生成虽然耗电更多,但长期成本更低;MTP(多 token 预测)只增加约 10% 功耗,却能把每 token 能耗削减最多一半。作者认为推理引擎仍有很大优化空间。
「Infra」频道最新
- 开发者用 Claude 35 分钟从 Vercel 迁移到 Cloudflare,月费 70 美元降至 10 美元 — aloncarmel · 2026-11-23
- AI 推理圈新梗:如果奶奶会 KV Cache 分解,她就是 vLLM — dejavucoder · 2026-11-23
- Anthropic 现场供电 80% 为简易循环燃气轮机,年健康损失或达 20-30 亿美元 — petrusenko_max · 2026-11-23
- 18.3GB 单文件跑 52 万 token 上下文:Inkling-2-Mini GPTQ 量化版发布 — W61k3r · 2026-11-23
- 作者用两个 Agent 实测 OpenRouter 路由:最便宜的供应商最不可靠 — MikePFrank · 2026-11-23
- 开发者直言:99% 的人不该自托管本地模型 — gnukeith · 2026-11-23