Graphsignal 推出推理 GPU 版 top:按耗时给 kernel 排名,一眼看出 NCCL 占了四分之一 GPU 时间
l0g1cs · reddit · 2026-10-12
开源推理分析器 Graphsignal 新增 graphsignal-top,相当于推理 GPU 的 top 命令:用 graphsignal-run vllm serve ... 或包住 sglang serve 启动,另开终端运行 graphsignal-top 即可实时查看。
展示内容包括:
- 每 GPU 利用率、显存、功耗、降频(throttling)随时间变化;
- 引擎运行/等待请求数、tok/s、TTFT/TPOT 的 p50/p95;
- GPU 时间拆分(kernel / graph / memcpy / sync),以及最近 5 秒按耗时排名的 kernel 列表,带可读名称和分类(而非 mangled 符号);还有 CUDA graph 回放、传输、同步的分页。
作者实测 Qwen3-32B 在 2x RTX PRO 6000(PCIe,tp 2)上:NCCL all-reduce 占约四分之一 GPU 时间,一半墙钟时间花在等待它的 host sync 上,一眼可见。支持 --host 远程连接和 --once 单帧输出。仓库:github.com/graphsignal/graphsignal
「Infra」频道最新
- 美国数据中心最集中两县恰是全美最富两县，算力循环论引发争论 — gregmushen · 2026-10-12
- Cloudflare Logpush Transformers：导出前用 SQL 过滤与改写日志 — Cloudflare Blog · 2026-10-12
- 混合 GPU+CPU+NVMe 本地跑 DeepSeek,吞吐最高提升 21 倍 — HankYeomans · 2026-10-12
- Palo Alto Networks 收购 AI 网关 Portkey，卡位企业 AI 支出入口 — YvesMulkers · 2026-10-12
- Anthropic 算力版图再扩：IREN 等前比特币矿场成新供应商 — tengyanAI · 2026-10-12
- Cloudflare Workers 调 Gemini 偶报 400:根因是机房路由落在香港 — sujingshen · 2026-10-12