Ollama 推理仅 20 tok/s，瓶颈在 UI 层还是模型？
daddyMaterialBolte · reddit · 2026-08-23
用户在公司内部部署 NVIDIA Nemotron + Ollama + OpenWebUI/AnythingLLM 时，遇到生成速度约 20 tokens/sec 且 GPU 占用 95% 的情况，试图定位高延迟来源。
用户已确认模型本身 GPU 利用率高，怀疑瓶颈可能在于中间层（如 UI 的 prompt 构造、RAG、API 调用开销）。寻求以下问题的解答：
- OpenWebUI/AnythingLLM 是否引入了显著的额外延迟？
- 如何准确测量 TTFT、prompt 处理时间与生成时间？
- 如何系统性对比直接调用 Ollama 与通过 UI 调用的性能差异？
- 大上下文/历史记录对性能的具体影响及验证方法。
「Infra」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15