开源本地LLM监控面板
Important_Quote_1180 · reddit · 2026-07-11
作者开源了一个单文件、无依赖的本地 LLM 服务监控面板，专门给自建推理盒子用。 ### 主要特点 - 前端只有一个 `index.html`，可直接用 `file://` 打开 - 后端只有一个 Python 标准库脚本 - 通过 `nvidia-smi` 和各服务的 Prometheus `/metrics` 读取数据 ### 能看什么 - GPU 利用率、显存、功耗、温度、频率，以及实际占用进程 - `llama.cpp` 和 `vLLM` 的 tokens/s、请求数、KV/context 占用、LoRA - 自动发现 worker 端口 - 可选的多台 secondary server - CPU、内存、负载、网络、磁盘等系统指标 - 模型库清单与量化/上下文/吞吐信息 - 还支持把每次请求的 reasoning/CoT 通过日志接出来做“thought tap”