推理引擎大爆炸：llama.cpp 老用户追不动新框架了
Kahvana · reddit · 2026-11-04
一位 2025 年 3 月入坑本地部署的 Reddit 用户感叹推理引擎生态变化太快：早期格局清晰——llama.cpp、ollama（封装版）、koboldcpp（角色扮演封装）、vllm（专业部署）、exl3+tabbyapi（前沿）、litert（移动端）；如今 Strata、Basalt、Maya、Colibri、Infernix 等新引擎层出不穷，难以跟上。
同时速度进步惊人：llama.cpp 每周都有大改进，新引擎能让大模型跑在 64GB RAM + 32GB VRAM 上（但通常牺牲质量）。作者自己仍坚守 llama.cpp v0.8.0——例如双 RTX 5060 Ti 16GB（PCIe 5.0 x8x8 张量并行）+ 双 48GB DDR5-6000 下以 Q4KXL 量化跑约 15t/s 生成，换来的是可靠的质量。帖子征求社区：你们用什么？新引擎的速度/资源换质量到底值不值？
「Infra」频道最新
- 单卡 RTX PRO 6000 跑 8 个编码 agent，实测吞吐数据出炉 — AIFlow_ML · 2026-11-04
- Agent37 推出月租 4.76 美元沙盒，价格仅为 Vercel 的 2% — rohanpaul_ai · 2026-11-04
- TensorFold 1.2.2 发布：GB10 prefill 提速近 40% — HankYeomans · 2026-11-04
- mlx-serve 新 PR:两台 Mac 经雷电 5 跑张量并行,DeepSeek 解码提速 57% — HankYeomans · 2026-11-04
- PyTorch Day Japan 12月东京举行，含 ExecuTorch 移植边缘加速器实战议题 — PyTorch · 2026-11-04
- 2B 决策模型跑上树莓派：单次图像决策约 9 秒 — JosephJacks_ · 2026-11-04