LM Studio 原生性能落后 raw llama.cpp 40%
MkGod · reddit · 2026-08-24
作者在双 RTX 5060 Ti (32GB VRAM) 上对比了 LM Studio 与原生 llama-server.exe 运行 Qwen3.8-27B 的性能差异。
性能对比：
- LM Studio：30–40 tok/s。
- Raw llama-server.exe：50–55 tok/s（快约 40%）。
- 配置完全相同（TP、MTP 投机采样），排除了显存溢出问题。
问题分析：
- 排测是 GUI 封装开销、Context shift 或 KV cache 碎片导致。
- llama.cpp 警告：SPLITMODETENSOR 下采样后端回退 CPU，但性能仍远超 LM Studio。
推理参数差异：
- 加载 lmstudio-community 版 GGUF 时显示完整的 Reasoning Effort 选项。
- 加载 Unsloth 版 GGUF 时仅显示 开/关 切换。
- 疑问：这是否由 GGUF 元数据/Jinja 模板决定，还是 LM Studio 硬编码限制？
「Infra」频道最新
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API：兼容 Tinker SDK，成本降 25%-85% — kalyan_kpl · 2026-10-16
- 达拉斯联储估算：AI 数据中心举债约占期限供给八分之一 — _onionesque · 2026-10-16
- 12GB 笔记本显卡硬跑 Wan2.1 14B FP16:内存交换压测 4 分 11 秒出片 — RYuu-1120 · 2026-10-16