NVIDIA 开源 AIPerf 基准工具 + Triton 官方教程：推理性能测量的两块拼图
techNmak · x · 2026-10-17
techNmak 的免费推理工程资源清单续篇，介绍两个学习资源：
- NVIDIA AIPerf（GitHub 开源，Apache-2.0，约 791 stars）：综合性基准测试工具，测量生成式 AI 模型的首 token 延迟、token 延迟、吞吐量和 goodput；附带受控负载与真实工作负载 trace 的指南。需要基础 Python、PyTorch 和 Transformer 知识
- Triton 官方 GPU 编程教程（作为前一条回复）：从向量加法到 softmax、矩阵乘法和 fused attention 的可运行示例，学习 GPU kernel 工作原理
学习材料免费，运行示例可能需要付费算力。
「Infra」频道最新
- 印度全国仅约 3 万块 GPU,专家称建前沿模型算力缺口达 10-20 倍 — CatAstro_Piyush · 2026-10-17
- MiniCPM-V 4.7 仅占 3GB 显存，本地跑出 100 tokens/秒 — NielsRogge · 2026-10-17
- AI 算力竞赛的隐形功臣:数据中心电源管理芯片决定能效上限 — Olivier__OG · 2026-10-17
- 35B 多模态模型跑进 3GB 内存：MiniCPM-V 4.7 全程离线读懂家电面板 — alifcoder · 2026-10-17
- 本地跑 Qwen3.8-Flash-Next：换全量 FP8 n-gram 表质量明显提升 — sillynoobhorse · 2026-10-17
- 单卡 A100 本地跑 Nemotron 3.5,169 tok/s 处理百份病历仅 2 美分 — MaziyarPanahi · 2026-10-17