llama-doctor:读 llama.cpp 指标并按严重度诊断问题的 CLI 工具
msalsas · reddit · 2026-10-19
Reddit 用户 msalsas 开源了 llama-doctor，一个针对 llama.cpp/Unsloth Studio 服务器的诊断 CLI 和实时面板。
- 指向运行中的服务器，拉取 /metrics、/props、/slots 接口数据
- 输出按严重度分级的问题发现：prefill vs decode、队列压力、prefix cache 复用率、内存余量
- 退出码映射严重度，可直接用于 cron 门控
- 只读、仅用 Python 标准库、要求 Python 3.10+
代码在 GitHub 上，作者欢迎 PR，尤其希望有能让它崩溃的服务器的用户反馈。
「Infra」频道最新
- 网友用 wllama 在 Rabbit R1 上跑通 Qwen3.5-0.8B 4-bit 量化 — ngxson · 2026-10-19
- ORL 框架让扩散语言模型提速 6.9 倍，超越自回归投机解码 — burny_tech · 2026-10-19
- 四套免费 CUDA 学习资源：从 NVIDIA 官方课到牛津大学讲义 — techNmak · 2026-10-19
- 4GB 显存的 3050 笔记本跑 Moss 图像模型，优化后 62 秒出图 — sanketshinde2004 · 2026-10-19
- 巴克莱：纯数据中心债券利差升至约209bp，市场开始计入传染风险 — SumitGup · 2026-10-19
- GPU 开发者称需打造轻量可解释性推理引擎，称移植数值差异难解 — brandon_xyzw · 2026-10-19